kanxg / fengchao
蜂巢爬虫系统 是一套只需要定义XPath，就可实现爬取网站,APP的系统, 支持多种解析方式（XPath,正则表达式），多种下载方式（HttpClient库, PhantomJs, Selenium）,多种输出方式（Excel，MongoDB）。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆5Updated 7 years ago
Alternatives and similar repositories for fengchao:
Users that are interested in fengchao are comparing it to the libraries listed below
- heroUpdated 7 years ago
- 快速生成可测试的web接口文档的类库☆97Updated 2 years ago
- 使用 Java 开发的一个任务调度框架，可以远程执行一次性或重复性的JOB，查看任务的执行状态以及任务结果（返回值、执行时间等） 本框架只负责调度，支持集群，任务执行在目标的服务器上，与业务解耦。☆69Updated 8 years ago
- The Crawler Proxy IP Pool Component☆63Updated 2 years ago
- 互联网架构 SOA（Dubbo）+配置中心（ZK）+消息中间件MQ（RocketMq）+高速缓存（Redis）互联网架构☆65Updated 7 years ago
- JOB调度框架☆87Updated 7 years ago
- 分布式可靠消息组件☆95Updated 3 years ago
- Dubbox整合Spring Boot基于Avro、Thrift协议构建REST服务☆40Updated 8 years ago
- 整合使用selenium+phantomjs+WebCollector爬取京东数据，并做数据持久化。☆49Updated 7 years ago
- MyDog是一个代码生成工具，目前实现了一键生成基于SpringBoot的web工程。项目特点是所有功能均基于插件开发。理论上可以无限扩展。☆55Updated 2 years ago
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Updated 8 years ago
- gecco爬虫和spring结合使用☆52Updated 7 years ago
- 微信公共平台机器人Java SDK☆124Updated 2 years ago
- 基于zookeeper的统一配置中心实现☆47Updated 9 years ago
- 利用spring boot + webmagic 开发的java爬虫系统☆62Updated 8 years ago
- 本项目已废弃，笔记收藏整理参考：☆70Updated 4 years ago
- 网络爬虫☆51Updated 10 years ago
- SERVER-API 是一个gui的web接口管理工具，基于 swagger-ui 的后台API开源项目，采用SpringMvc+Maven3+Jdk1.7+Tomcat7☆112Updated 8 years ago
- 一个基于Spring Boot的Storm开发手脚架，开箱即用！集成读写Kafka、写Redis、写MySQL示例。☆59Updated 6 years ago
- 基于zookeeper的分布式配置管理中心，在分布式系统中，配置文件经常多而繁杂，更新容易丢，有了这个组件，可以热更新，并且不会哪台机子上漏了哪个配置。☆35Updated 9 years ago
- springboot脚手架，集成jpa freemarker dubbo security为一体☆64Updated 7 years ago
- 针对反爬虫问题的自动代理池组件☆78Updated 8 years ago
- 全部改掉了，换回原先经典的雪花算法，41位时间戳+10位机器ID+12位序列号。只封装了rest风格的API~去除数据库等繁琐的封装。欢迎大家来做压测。☆31Updated 6 years ago
- spring boot 集成各种中间件☆47Updated 9 years ago
- 轻度扩展mybatis-generator-core插件，与官方插件兼容。☆63Updated 3 years ago
- spring整合webmagic，mybatis，dungproxy☆29Updated last year
- rank是一个seo工具，用于分析网站的搜索引擎收录排名。☆66Updated 7 years ago
- 自定义机智云风格的RESTful-API文档☆40Updated 7 years ago
- clover 1、开发server和client端 定时向zk集群发送心跳数据包，利用Java自带的timer程序实现该功能 2、开发整天的monitor程序，用来定时向zk中获取server和client端的心跳数据信息，如果超过指定时间没有收到最新的数据包，那么任务se…☆195Updated 9 years ago
- shiro 基于 url做的权限系统☆43Updated 10 years ago