bruceq / Gather-Platform
☆18Updated 8 years ago
Alternatives and similar repositories for Gather-Platform:
Users that are interested in Gather-Platform are comparing it to the libraries listed below
- 蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yar…☆5Updated 8 years ago
- 舆情搜索服务框架,其中lucene和solr版本为4.8。☆61Updated 9 years ago
- 数据虫巢官网(mite8.com)站点源码,包括站点基础数据爬取代码,以及重构的NLP分词工具等。☆47Updated 8 years ago
- spring整合webmagic,mybatis,dungproxy☆29Updated last year
- 简单实用的同步工具,实现mysql数据库中数据定期同步到elasticsearch,只需简单的配置,便能达到非凡的效果,支持elasticsearch 5.X版本☆48Updated 8 years ago
- 知乎爬虫,基于webmagic框架 .A java web spider base on webmagic.☆69Updated 8 years ago
- 大规模分布式系统的跟踪、监控、告警平台☆55Updated 10 years ago
- 爬虫项目源码整理,使用redis进行url缓存,hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- 网络爬虫☆51Updated 11 years ago
- 反网页爬虫系统☆39Updated 10 years ago
- JOB调度框架☆86Updated 7 years ago
- 使用java+httpclient+httpcleaner,多线程、分布式爬去电商网站商品信息,数据存储在hbase上,并使用solr对商品建立索引,使用redis队列存储一个共享的url仓库;使用zookeeper对爬虫节点生命周期进行监视等。☆232Updated 4 years ago
- JQuant是使用java语言编写的量化开发工具箱,使用JQuant可以获取股票数据,及各种常用指标和策略的计算。方便Java爱好者进行量化投资研究。 QQ群:281599099,项目迁移到新地址,https://github.com/eryk/squant☆90Updated 8 years ago
- 基于hadoop 思维的分布式网络爬虫。☆86Updated 9 years ago
- The Crawler Proxy IP Pool Component☆63Updated 2 years ago
- 基于zookeeper的统一配置中心实现☆47Updated 9 years ago
- 基于Solr4.9.0的搜索系统:包括Solr索引建立、Solr索引查询DUBBO接口等内容。☆29Updated 2 years ago
- A distributed real-time stock picking system base on flume,kafka,jstorm,esper,and mysql☆160Updated 8 years ago
- Asura Framework 是我们在实际使用过程中,抽取出来的公共组件☆23Updated 6 years ago
- 集群高可用架构整理☆50Updated 8 years ago
- 生成Spring Boot代码☆56Updated last year
- GuozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。其设计灵感来源于多个爬虫国内外爬虫框架的总结。采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线…☆95Updated 10 years ago
- 利用spring boot + webmagic 开发的java爬虫系统☆62Updated 8 years ago
- Apache Nutch Plugins for AJAX page fetch, parse, index☆87Updated 6 years ago
- 整合使用selenium+phantomjs+WebCollector爬取京东数据,并做数据持久化。☆49Updated 7 years ago
- 拉勾网数据爬虫☆32Updated 7 years ago
- Dubbox整合Spring Boot基于Avro、Thrift协议构建REST服务☆40Updated 8 years ago
- spring-boot利用scala写spark程序骨架☆28Updated 5 years ago
- java 基于selenium抓取搜狗微信公众号文章☆50Updated 9 years ago
- 基于Drools的规则引擎☆135Updated 9 years ago