kanxg / fengchaoLinks
蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆5Updated 8 years ago
Alternatives and similar repositories for fengchao
Users that are interested in fengchao are comparing it to the libraries listed below
Sorting:
- 网络爬虫☆51Updated 11 years ago
- 简单实用的同步工具,实现mysql数据库中数据定期同步到elasticsearch,只需简单的配置,便能达到非凡的效果,支持elasticsearch 5.X版本☆48Updated 8 years ago
- shiro 基于 url做的 权限系统☆43Updated 10 years ago
- 微信公共平台机器人Java SDK☆124Updated 2 years ago
- JOB调度框架☆86Updated 8 years ago
- 数据虫巢官网(mite8.com)站点源码,包括站点基础数据爬取代码,以及重构的NLP分词工具等。☆47Updated 8 years ago
- 本项目已废弃,笔记收藏整理参考:☆70Updated 4 years ago
- 快速生成可测试的web接口文档的类库☆96Updated 2 years ago
- rank是一个seo工具,用于分析网站的搜索引擎收录排名。☆67Updated 8 years ago
- Dubbox整合Spring Boot基于Avro、Thrift协议构建REST服务☆40Updated 9 years ago
- 使用 Java 开发的一个任务调度框架,可以远程执行一次性或重复性的JOB,查看任务的执行状态以及任务结果(返回值、执行时间等) 本框架只负责调度,支持集群,任务执行在目标的服务器上,与业务解耦。☆70Updated 8 years ago
- hero☆1Updated 7 years ago
- 知乎爬虫,基于webmagic框架 .A java web spider base on webmagic.☆69Updated 9 years ago
- Apache Nutch Plugins for AJAX page fetch, parse, index☆87Updated 7 years ago
- jsearch:高性能的全文检索工具包☆93Updated 8 years ago
- 舆情搜索服务框架,其中lucene和solr版本为4.8。☆61Updated 9 years ago
- dubbo monitor 基于dubbo2.5.3开发的监控平台,兼容了dubbo-admin的特性,有redis、mysql两个版本☆214Updated 2 years ago
- 基于zookeeper的分布式配置管理中心,在分布式系统中,配置文件经常多而繁杂,更新容易丢,有了这个组 件,可以热更新,并且不会哪台机子上漏了哪个配置。☆35Updated 9 years ago
- 基于hadoop思维的分布式网络爬虫。☆86Updated 9 years ago
- 专业java监控平台☆77Updated 10 years ago
- 基于Drools的规则引擎系统☆99Updated 12 years ago
- 互联网架构 SOA(Dubbo)+配置中心(ZK)+消息中间件MQ(RocketMq)+高速缓存(Redis)互联网架构☆65Updated 7 years ago
- 分布式链路跟踪监控插件,开箱即用,使用方式参考module:j360-trace-example , 本项目供学习之用,参考Google Dapper论文设计,收集存储分离,使用kafka,http,mq等进行解耦☆61Updated 8 years ago
- 这是一个统一管理系统权限,设计的目标是给开发者一个完整地权限管理系统,以便你能更专注自己系统业务的开发☆36Updated 9 years ago
- 分布式可靠消息组件☆94Updated 3 years ago
- gecco爬虫和spring结合使用☆52Updated 7 years ago
- 可基于Spring,灵活配置、易扩展、支持图片和声音的验证码框架。可分布式部署作为的验证码生成服务器和验证服务器。☆93Updated 10 years ago
- 铜板街轻量级JDBC层分库分表框架☆47Updated last year
- 使用java+httpclient+httpcleaner,多线程、分布式爬去电商网站商品信息,数据存储在hbase上,并使用solr对商品建立索引,使用redis队列存储一个共享的url仓库;使用zookeeper对爬虫节点生命周期进行监视等。☆231Updated 4 years ago
- 基于zookeeper的统一配置中心实现☆47Updated 9 years ago