kanxg / fengchaoLinks
蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆5Updated 8 years ago
Alternatives and similar repositories for fengchao
Users that are interested in fengchao are comparing it to the libraries listed below
Sorting:
- The Crawler Proxy IP Pool Component☆64Updated 2 years ago
- Dubbox整合Spring Boot基于Avro、Thrift协议构建REST服务☆40Updated 9 years ago
- java 验证码识别 svm☆34Updated 10 years ago
- 快速生成可测试的web接口文档的类库☆96Updated 2 years ago
- JOB调度框架☆86Updated 7 years ago
- 本项目已废弃,笔记收藏整理参考:☆70Updated 4 years ago
- 互 联网架构 SOA(Dubbo)+配置中心(ZK)+消息中间件MQ(RocketMq)+高速缓存(Redis)互联网架构☆65Updated 7 years ago
- 数据虫巢官网(mite8.com)站点源码,包括站点基础数据爬取代码,以及重构的NLP分词工具等。☆47Updated 8 years ago
- hero☆1Updated 7 years ago
- springboot脚手架,集成jpa freemarker dubbo security为一体☆65Updated 8 years ago
- 针对反爬虫问题的自动代理池组件☆78Updated 8 years ago
- shiro 基于 url做的权限系统☆43Updated 10 years ago
- dubbo日志扩展插件☆25Updated 7 years ago
- 使用 Java 开发的一个任务调度框架,可以远程执行一次性或重复性的JOB,查看任务的执行状态以及任务结果(返回值、执行时间等) 本框架只负责调度,支持集群,任务执行在目标的服务器上,与业务解耦。☆69Updated 8 years ago
- 简单实用的同步工具,实现mysql数据库中数据定期同步到elasticsearch,只需简单的配置,便能达到非凡的效果,支持elasticsearch 5.X版本☆48Updated 8 years ago
- spring boot 学习中的部分源码记录。☆28Updated 2 years ago
- gecco爬虫和spring结合使用☆52Updated 7 years ago
- 生成Spring Boot代码☆56Updated last year
- 爬虫项目源码整理,使用redis进行url缓存,hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- AG-Gate 是一个基于spring cloud的用户资源授权、api管理授权的网关系统,以jwt交互的鉴权token来实施,支持基于Eureka注册中心下的服务鉴权和拦截,同时扩展Eureka下服务失效的通知 扩展。☆99Updated 7 years ago
- 模仿Java标准库的一些API实现的算法库,包括了数据结构,字符串处理(StringBuilder),图(有向图)。原来是用Python实现的,但是Python实现的并没有经过完整的测试,不能够保证完全的正确性。 使用Java实现的集合库都经过完整的测试,实际上,我在实现的…☆48Updated 10 years ago
- 基于云计算Iaas平台的企业级云计算,一站式解决方案,http://www.springcloud.cn☆28Updated 9 years ago
- 知乎爬虫,基于webmagic框架 .A java web spider base on webmagic.☆69Updated 9 years ago
- 统一动态任务管理系统☆67Updated 7 years ago
- 整合使用selenium+phantomjs+WebCollector爬取京东数据,并做数据持久化。☆49Updated 7 years ago
- ☆17Updated 9 years ago
- spring boot 集成各种中间件☆47Updated 9 years ago
- 基于Drools的规则引擎☆135Updated 9 years ago
- database read and write separation of java☆118Updated 7 years ago
- 高效的分布式id生成器,每个客户端实例tps可达到100万,服务端毫无压力。即使服务端宕机了,id生成依然可用。支持多数据中心,支持id加密。☆47Updated 6 years ago