kanxg / fengchao
蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆5Updated 7 years ago
Alternatives and similar repositories for fengchao:
Users that are interested in fengchao are comparing it to the libraries listed below
- The Crawler Proxy IP Pool Component☆63Updated 2 years ago
- 简单实用的同步工具,实现mysql数据库中数据定期同步到elasticsearch,只需简单的配置,便能达到非凡的效果,支持elasticsearch 5.X版本☆48Updated 8 years ago
- webmagic 爬取我喜欢的网易云歌单+评论☆50Updated 7 years ago
- 数据虫巢官网(mite8.com)站点源码,包括站点基础数据爬取代码,以及重构的NLP分词工具等。☆48Updated 7 years ago
- Dubbox整合Spring Boot基于Avro、Thrift协议构建REST服务☆40Updated 8 years ago
- 知乎爬虫,基于webmagic框架 .A java web spider base on webmagic.☆68Updated 8 years ago
- 快速生成可测试的web接口文档的类库☆97Updated 2 years ago
- MyDog是一个代码生成工具,目前实现了一键生成基于SpringBoot的web工程。项目特点是所有功能均基于插件开发。理论上可以无限扩展。☆55Updated 2 years ago
- java 验证码识别 svm☆34Updated 9 years ago
- JOB调度框架☆87Updated 7 years ago
- 微服务配置中心 mconf ,基于 Zookeeper和Redis实现的配置中心。提供拉取配置、订阅配置、新增配置、删除配置、修改配置等功能。支持多数据中心、多环境配置、配置分组、多版本配置等功能。☆112Updated 7 years ago
- springboot脚手架,集成jpa freemarker dubbo security为一体☆64Updated 7 years ago
- 互联网架构 SOA(Dubbo)+配置中心(ZK)+消息中间件MQ(RocketMq)+高速缓存(Redis)互联网架构☆65Updated 7 years ago
- 本项目已废弃,笔记收藏整理参考:☆70Updated 4 years ago
- heroUpdated 7 years ago
- spring整合guava和redis实现本地和远程缓存☆41Updated 9 years ago
- 分布式可靠消息组件☆95Updated 3 years ago
- ☆45Updated 7 years ago
- spring boot 集成各种中间件☆47Updated 8 years ago
- shiro 基于 url做的权限系统☆43Updated 10 years ago
- gecco爬虫和spring结合使用☆52Updated 7 years ago
- 针对反爬虫问题的自动代理池组件☆78Updated 7 years ago
- AG-Gate 是一个基于spring cloud的用户资源授权、api管理授权的网关系统,以jwt交互的鉴权token来实施,支持基于Eureka注册中心下的服务鉴权和拦截,同时扩展Eureka下服务失效的通知扩展。☆99Updated 7 years ago
- 基于zookeeper的统一配置中心实现☆47Updated 9 years ago
- 分布式链路跟踪监控插件,开箱即用,使用方式参考module:j360-trace-example , 本项目供学习之用,参考Google Dapper论文设计,收集存储分离,使用kafka,http,mq等进行解耦☆61Updated 7 years ago
- Mybatis Generator Web Tool. 更加简单便捷的生成Mybatis框架代码☆75Updated 7 years ago
- Spring Cloud 与 Docker 整合使用示例,为《使用Spring Cloud与Docker实战微服务》的配套代码。书籍地址:https://github.com/eacdy/spring-cloud-book 。讨论QQ群:157525002(已满)、5648…☆41Updated 8 years ago
- 分布式数据源分表分库、读写分离应用层框架☆55Updated 9 years ago
- 利用spring boot + webmagic 开发的java爬虫系统☆62Updated 8 years ago
- 整合使用selenium+phantomjs+WebCollector爬取京东数据,并做数据持久化。☆49Updated 7 years ago