ddviplinux / crawler-frameworkLinks
分布式爬虫框架,基于webdrvier模拟用户请求,kafka消息传递,分布式网页存储使用hbase,task异步任务多线程解析,提供基础服务如:proxy ip服务和号码验证服务等, proxy page使用H5和we版进行接入
☆13Updated 10 years ago
Alternatives and similar repositories for crawler-framework
Users that are interested in crawler-framework are comparing it to the libraries listed below
Sorting:
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配 置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Updated 9 years ago
- storm kafka hdfs examples☆21Updated 9 years ago
- 基于Map/Reduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类☆74Updated 12 years ago
- poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台☆56Updated 7 years ago
- 同步Hive数据仓库数据到Elasticsearch的小工具☆21Updated 7 years ago
- 网络爬虫☆51Updated 11 years ago
- 基于spark、mahout和spring boot构建的推荐系统☆130Updated last week
- 分布式大数据SQL查询可视化界面！☆68Updated 10 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆75Updated 3 years ago
- Kafka Eagle used to describe the use of Wiki☆11Updated 5 years ago
- 基于zookeeper的分布式配置管理中心，在分布式系统中，配置文件经常多而繁杂，更新容易丢， 有了这个组件，可以热更新，并且不会哪台机子上漏了哪个配置。☆35Updated 9 years ago
- elasticsearch-jdbc，在elasticsearch-sql的jdbc实验特性基础上完成，可使用sql和rest api的方式执行elasticsearch操作☆18Updated 6 years ago
- hadoop hbase use case and examples, inclusing MR,HBaseUtil...☆35Updated 12 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 10 years ago
- 通过HBase Observer同步数据到ElasticSearch☆54Updated 10 years ago
- 海狗-多维在线分析系统☆72Updated 11 years ago
- hbase+solr实现hbase的二级索引☆47Updated last week
- EserKnife☆14Updated 7 years ago
- 支持集群部署，动态推送，配置一键导出导入，模块管理，全局配置查询等功能,可匹敌disconf☆23Updated 8 years ago
- 分布式数据仓库最佳实践☆58Updated 7 years ago
- 这是一个ZooKeeper客户端，实现了断线重连，会话过期重连，永久监听，子节点数据变化的监听。并且加入了常用功能，例如分布式锁，Leader选举,主从服务锁，分布式队列等。☆26Updated 9 years ago
- 基于java开发，强大并且灵活的数据产生神器器，能够根据jobs.xml配置产生各种各样的数据，不用再为测试时没有数据而烦恼了☆35Updated 8 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 9 years ago
- 数据虫巢官网(mite8.com)站点源码，包括站点基础数据爬取代码，以及重构的NLP分词工具等。☆47Updated 8 years ago
- spring整合webmagic，mybatis，dungproxy☆29Updated 2 years ago
- rank是一个seo工具，用于分析网站的搜索引擎收录排名。☆68Updated 8 years ago
- jvm堆内存结构、垃圾回收原理、jvm内存调优、jvm监控等☆17Updated 6 years ago
- java性能采集工具☆51Updated 7 years ago
- 读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘☆47Updated 11 years ago
- 大规模分布式系统的跟踪、监控、告警平台☆55Updated 11 years ago