kanxg / fengchao
蜂巢爬虫系统 是一套只需要定义XPath，就可实现爬取网站,APP的系统, 支持多种解析方式（XPath,正则表达式），多种下载方式（HttpClient库, PhantomJs, Selenium）,多种输出方式（Excel，MongoDB）。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆5Updated 8 years ago
Alternatives and similar repositories for fengchao
Users that are interested in fengchao are comparing it to the libraries listed below
Sorting:
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Updated 8 years ago
- 数据虫巢官网(mite8.com)站点源码，包括站点基础数据爬取代码，以及重构的NLP分词工具等。☆47Updated 8 years ago
- The Crawler Proxy IP Pool Component☆63Updated 2 years ago
- 互联网架构 SOA（Dubbo）+配置中心（ZK）+消息中间件MQ（RocketMq）+高速缓存（Redis）互联网架构☆65Updated 7 years ago
- 知乎爬虫，基于webmagic框架 .A java web spider base on webmagic.☆69Updated 8 years ago
- 生成Spring Boot代码☆56Updated last year
- hero☆1Updated 7 years ago
- 本项目已废弃，笔记收藏整理参考：☆70Updated 4 years ago
- java 验证码识别 svm☆34Updated 10 years ago
- 集群高可用架构整理☆50Updated 8 years ago
- 整合使用selenium+phantomjs+WebCollector爬取京东数据，并做数据持久化。☆49Updated 7 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- JOB调度框架☆86Updated 7 years ago
- 反网页爬虫系统☆39Updated 10 years ago
- 网络爬虫☆51Updated 11 years ago
- gecco爬虫和spring结合使用☆52Updated 7 years ago
- shiro 基于 url做的权限系统☆43Updated 10 years ago
- Dubbox整合Spring Boot基于Avro、Thrift协议构建REST服务☆40Updated 9 years ago
- 舆情搜索服务框架，其中lucene和solr版本为4.8。☆61Updated 9 years ago
- 轻量的公用组件(A Lightweight Common Component)☆23Updated 6 years ago
- rank是一个seo工具，用于分析网站的搜索引擎收录排名。☆67Updated 8 years ago
- webmagic 爬取我喜欢的网易云歌单+评论☆51Updated 7 years ago
- AG-Gate 是一个基于spring cloud的用户资源授权、api管理授权的网关系统，以jwt交互的鉴权token来实施，支持基于Eureka注册中心下的服务鉴权和拦截，同时扩展Eureka下服务失效的通知扩展。☆99Updated 7 years ago
- Spring Cloud 与 Docker 整合使用示例，为《使用Spring Cloud与Docker实战微服务》的配套代码。书籍地址：https://github.com/eacdy/spring-cloud-book 。讨论QQ群：157525002（已满）、5648…☆41Updated 8 years ago
- 这是一个统一管理系统权限，设计的目标是给开发者一个完整地权限管理系统，以便你能更专注自己系统业务的开发☆36Updated 8 years ago
- 基于zookeeper的分布式配置管理中心，在分布式系统中，配置文件经常多而繁杂，更新容易丢，有了这个组件，可以热更新，并且不会哪台机子上漏了哪个配置。☆35Updated 9 years ago
- spring整合webmagic，mybatis，dungproxy☆29Updated last year
- Apache Nutch Plugins for AJAX page fetch, parse, index☆87Updated 6 years ago
- 针对反爬虫问题的自动代理池组件☆78Updated 8 years ago
- 自定义机智云风格的RESTful-API文档☆40Updated 7 years ago