ddviplinux / crawler-frameworkLinks
分布式爬虫框架,基于webdrvier模拟用户请求,kafka消息传递,分布式网页存储使用hbase,task异步任务多线程解析,提供基础服务如:proxy ip服务和号码验证服务等, proxy page使用H5和we版进行接入
☆13Updated 9 years ago
Alternatives and similar repositories for crawler-framework
Users that are interested in crawler-framework are comparing it to the libraries listed below
Sorting:
- 网络爬虫☆52Updated 11 years ago
- 基于spark、mahout和spring boot构建的推荐系统☆131Updated 4 months ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆75Updated 2 years ago
- 读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘☆47Updated 10 years ago
- 分布式数据仓库最佳实践☆57Updated 7 years ago
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Updated 8 years ago
- storm kafka hdfs examples☆21Updated 8 years ago
- Kafka Eagle used to describe the use of Wiki☆11Updated 5 years ago
- 分布式大数据SQL查询可视化界面！☆68Updated 9 years ago
- poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台☆56Updated 7 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程 的状态监控。☆19Updated 9 years ago
- 基于Drools的规则引擎☆136Updated 9 years ago
- spring整合webmagic，mybatis，dungproxy☆29Updated 2 years ago
- 基于Map/Reduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类☆74Updated 11 years ago
- Hadoop作业平台☆38Updated 12 years ago
- 模仿Java标准库的一些API实现的算法库，包括了数据结构，字符串处理（StringBuilder），图（有向图）。原来是用Python实现的，但是Python 实现的并没有经过完整的测试，不能够保证完全的正确性。 使用Java实现的集合库都经过完整的测试，实际上，我在实现的…☆49Updated 10 years ago
- 大数据实时计算的基础框架☆49Updated 10 years ago
- hadoop hbase use case and examples, inclusing MR,HBaseUtil...☆36Updated 11 years ago
- 舆情搜索服务框架，其中lucene和solr版本为4.8。☆61Updated 9 years ago
- 一个基于Spring Boot的Storm开发手脚架，开箱即用！集成读写Kafka、写Redis、写MySQL示例。☆59Updated 6 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 9 years ago
- 基于zookeeper的分布式配置管理中心，在分布式系统中，配置文件经常多而繁杂，更新容易丢，有了这个组件，可以热更新，并且不会哪台机子上漏了哪个配置。☆35Updated 9 years ago
- 通过HBase Observer同步数据到ElasticSearch☆54Updated 10 years ago
- 实时风控系统， 基于spark-streaming、drools、kafka、redis☆53Updated 6 years ago
- jsearch：高性能的全文检索工具包☆93Updated 8 years ago
- 基于hadoop思维的分布式网络爬虫。☆86Updated 9 years ago
- 海狗-多维在线分析系统☆72Updated 11 years ago
- 大规模分布式系统的跟踪、监控、告警平台☆55Updated 11 years ago
- 同步Hive数据仓库数据到Elasticsearch的小工具☆21Updated 7 years ago
- 支持集群部署，动态推送，配置一键导出导入，模块管理，全局配置查询等功能,可匹敌disconf☆23Updated 8 years ago