ddviplinux / crawler-frameworkLinks
分布式爬虫框架,基于webdrvier模拟用户请求,kafka消息传递,分布式网页存储使用hbase,task异步任务多线程解析,提供基础服务如:proxy ip服务和号码验证服务等, proxy page使用H5和we版进行接入
☆13Updated 9 years ago
Alternatives and similar repositories for crawler-framework
Users that are interested in crawler-framework are comparing it to the libraries listed below
Sorting:
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Updated 8 years ago
- 网络爬虫☆51Updated 11 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- rank是一个seo工具，用于分析网站的搜索引擎收录排名。☆67Updated 8 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 7 years ago
- ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…☆24Updated 10 years ago
- 同步Hive数据仓库数据到Elasticsearch的小工具☆21Updated 7 years ago
- 蜂鸟数据分析平台帮助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景☆21Updated 6 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 8 years ago
- 解析Mysql binlog日志并发至Kafka☆23Updated 8 years ago
- hadoop hbase use case and examples, inclusing MR,HBaseUtil...☆36Updated 11 years ago
- 支持集群部署，动态推送，配置一键导出导入，模块管理，全局配置查询等功能,可匹敌disconf☆23Updated 7 years ago
- 基于Yarn的容器调度引擎(container scheduler based on yarn)☆36Updated 9 years ago
- storm kafka hdfs examples☆21Updated 8 years ago
- Hadoop作业平台☆38Updated 12 years ago
- hero☆1Updated 7 years ago
- 本项目目的在于构建一个标准化的NLP处理框架，提供企业级的API，以及各种推荐实现和测试包。 目前国内外有不少NLP语言包，包括中科院、复旦大学的，通过对这些常用NLP软件的封装，可以为企业提供一个可以根据需要来对比和无缝切换底层实现的NLP框架。☆22Updated last year
- 调度系统：提供友好的web界面，支持shell和http触发型的任务、工作流(由多个任务构成)，支持任务的自依赖配置，支持失败重试、负载均衡。☆30Updated 7 years ago
- zookeeper官方提供的分布式锁，选举master，和分布 式队列实现☆17Updated 11 years ago
- poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台☆55Updated 6 years ago
- 保障服务的持续高可用、高性能及负载均衡☆17Updated 8 years ago
- 分布式大数据SQL查询可视化界面！☆68Updated 9 years ago
- 海狗-多维在线分析系统☆72Updated 10 years ago
- mysql数据迁移工具。支持指定表名、列名，多线程+多进程。保证高可用，数据一致性。☆20Updated 10 years ago
- 数据虫巢官网(mite8.com)站点源码，包括站点基础数据爬取代码，以及重构的NLP分词工具等。☆47Updated 8 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆75Updated 2 years ago
- book 《storm in action》 source code☆24Updated 10 years ago
- 实时数据分析平台☆41Updated 11 years ago
- 大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；☆23Updated 2 years ago
- hbase+solr实现hbase的二级索引☆48Updated 3 months ago