kanxg / fengchao
蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆5Updated 8 years ago
Alternatives and similar repositories for fengchao:
Users that are interested in fengchao are comparing it to the libraries listed below
- 本项目已废弃,笔记收藏整理参考:☆70Updated 4 years ago
- 互联网架构 SOA(Dubbo)+配置中心(ZK)+消息中间件MQ(RocketMq)+高速缓存(Redis)互联网架构☆65Updated 7 years ago
- 针对反爬虫问题的自动代理池组件☆78Updated 8 years ago
- 数据虫巢官网(mite8.com)站点源码,包括站点基础数据爬取代码,以及重构的NLP分词工具等。☆48Updated 7 years ago
- Dubbox整合Spring Boot基于Avro、Thrift协议构建REST服务☆40Updated 8 years ago
- 简单实用的同步工具,实现mysql数据库中数据定期同步到elasticsearch,只需简单的配置,便能达到非凡的效果,支持elasticsearch 5.X版本☆48Updated 8 years ago
- 知乎爬虫,基于webmagic框架 .A java web spider base on webmagic.☆69Updated 8 years ago
- The Crawler Proxy IP Pool Component☆63Updated 2 years ago
- JOB调度框架☆87Updated 7 years ago
- Spring Cloud 与 Docker 整合使用示例,为《使用Spring Cloud与Docker实战微服务》的配套代码。书籍地址:https://github.com/eacdy/spring-cloud-book 。讨论QQ群:157525002(已满)、5648…☆41Updated 8 years ago
- spring整合guava和redis实现本地和远程缓存☆41Updated 9 years ago
- ☆18Updated 9 years ago
- API服务基础脚手架搭建,采用spring-boot\spring-session\mybatis\redis\quartz等,支持集群部署☆56Updated 6 years ago
- SERVER-API 是一个gui的web接口管理工具,基于 swagger-ui 的后台API开源项目,采用SpringMvc+Maven3+Jdk1.7+Tomcat7☆112Updated 8 years ago
- shiro 基于 url做的权限系统☆43Updated 10 years ago
- gecco爬虫和spring结合使用☆52Updated 7 years ago
- java 验证码识别 svm☆34Updated 10 years ago
- heroUpdated 7 years ago
- 集群高可用架构整理☆50Updated 8 years ago
- rank是一个seo工具,用于分析网站的搜索引擎收录排名。☆66Updated 7 years ago
- 全部 改掉了,换回原先经典的雪花算法,41位时间戳+10位机器ID+12位序列号。只封装了rest风格的API~去除数据库等繁琐的封装。欢迎大家来做压测。☆31Updated 6 years ago
- ☆45Updated 7 years ago
- 使用 Java 开发的一个任务调度框架,可以远程执行一次性或重复性的JOB,查看任务的执行状态以及任务结果(返回值、执行时间等) 本框架只负责调度,支持集群,任务执行在目标的服务器上,与业务解耦。☆69Updated 8 years ago
- 基于zookeeper的统一配置中心实现☆47Updated 9 years ago
- 轻度扩展mybatis-generator-core插件,与官方插件兼容。☆63Updated 3 years ago
- 基于springboot和docker部署的微服务架构☆51Updated 9 years ago
- Apache Nutch Plugins for AJAX page fetch, parse, index☆87Updated 6 years ago
- JMay是一款基于Spring、SpringMVC、Mybatis、Atomikos集成框架,用于快速搭建跨数据库、分布式事务(JTA)支持的java web项目☆27Updated 2 years ago
- 快速生成可测试的web接口文档的类库☆97Updated 2 years ago
- 基于zookeeper的分布式配置管理中心,在分布式系统中,配置文件经常多而繁杂,更新容易丢,有了这个组件,可以热更新,并且不会哪台机子上漏了哪个配置。☆35Updated 9 years ago