ddviplinux / crawler-framework
分布式爬虫框架,基于webdrvier模拟用户请求,kafka消息传递,分布式网页存储使用hbase,task异步任务多线程解析,提供基础服务如:proxy ip服务和号码验证服务等, proxy page使用H5和we版进行接入
☆13Updated 8 years ago
Related projects: ⓘ
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆19Updated 8 years ago
- ☆20Updated this week
- 网络爬虫☆50Updated 10 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆18Updated 8 years ago
- 使用kafka实现log4j日志集中管理☆14Updated 3 years ago
- 迁移工具，目标是Oracle，MySQL，SqlServer到PostgreSQL的单项迁移，PostgreSQL和大数据平台Hive，Hbase，Impala等的双向迁移。☆8Updated 9 years ago
- 异构存储数据迁移☆30Updated 6 years ago
- Kafka Eagle used to describe the use of Wiki☆11Updated 4 years ago
- 保障服务的持续高可用、高性能及负载均衡☆17Updated 7 years ago
- 支持集群部署，动态推送，配置一键导出导入，模块管理，全局配置查询等功能,可匹敌disconf☆23Updated 7 years ago
- Hadoop作业平台☆36Updated 11 years ago
- ☆21Updated this week
- 同步Hive数据仓库数据到Elasticsearch的小工具☆21Updated 6 years ago
- 基于词典的负面舆情信息评分算法。☆25Updated 9 years ago
- ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…☆24Updated 9 years ago
- mysql数据迁移工具。支持指定表名、列名，多线程+多进程。保证高可用，数据一致性。☆20Updated 9 years ago
- 实时数据分析平台☆42Updated 11 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆73Updated last year
- ☆21Updated this week
- 大规模分布式系统的跟踪、监控、告警平台☆55Updated 10 years ago
- 本项目目的在于构建一个标准化的NLP处理框架，提供企业级的API，以及各种推荐实现和测试包。 目前国内外有不少NLP语言包，包括中科院、复旦大学的，通过对这些常用NLP软件的封装，可以为企业提供一个可以根据需要来对比和无缝切换底层实现的NLP框架。☆22Updated last year
- ☆18Updated this week
- storm kafka hdfs examples☆21Updated 7 years ago
- 《分布式实时计算框架原理及实践案例》一书中相关章节实例介绍☆11Updated 8 years ago
- 舆情搜索服务框架，其中lucene和solr版本为4.8。☆60Updated 8 years ago
- ☆10Updated this week
- 简单高效的URL关键词提取工具☆15Updated 5 years ago
- ☆16Updated last year
- dubbo服务间的分布式事物☆11Updated 9 years ago