Alternatives and similar repositories for crawler-framework:

Users that are interested in crawler-framework are comparing it to the libraries listed below

• yxjay / SearchEngine-base-on-ElasticSearch-nutch-SSM
  基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎
  ☆20Updated 8 years ago
• smartloli / Kafka-Eagle-Wiki
  Kafka Eagle used to describe the use of Wiki
  ☆11Updated 4 years ago
• muyannian / higo
  海狗-多维在线分析系统
  ☆73Updated 10 years ago
• GongDexing / elasticsearch-mysql
  简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本
  ☆48Updated 8 years ago
• 888xin / pointlikerobot
  点赞机器人，spring4，mybatis，quartz，mongodb，MS消息队列，dubbo
  ☆10Updated 10 years ago
• QuanZhong / ZKConfig
  ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…
  ☆24Updated 9 years ago
• TQCCC / hive_to_es
  同步Hive数据仓库数据到Elasticsearch的小工具
  ☆21Updated 7 years ago
• shenbaise / goodcrawler
  网络爬虫
  ☆51Updated 11 years ago
• spccold / super-diamond-enhance
  支持集群部署，动态推送，配置一键导出导入，模块管理，全局配置查询等功能,可匹敌disconf
  ☆23Updated 7 years ago
• lizhitao0923 / ansible-hadoop
  Ansible playbooks to help to deploy Apache Hadoop,Spark,Storm,Zookeeper,Elasticsearch,Azkaban,Flume,Hbase,Kafka,Kibana,Logstash
  ☆10Updated 8 years ago
• canghaiyisu666 / spider
  爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。
  ☆19Updated 9 years ago
• tietang / spring-cloud-monitor
  一个基于eureka服务发现对微服务应用JVM和WEB请求指标、微服务运行状态的监控，并通过图形化来展示的小型轻量级监控系统。
  ☆18Updated 5 years ago
• zhanyingf15 / elasticsearch-jdbc
  elasticsearch-jdbc，在elasticsearch-sql的jdbc实验特性基础上完成，可使用sql和rest api的方式执行elasticsearch操作
  ☆19Updated 6 years ago
• SoftwareKing / SpringCloud
  基于云计算Iaas平台的企业级云计算,一站式解决方案,http://www.springcloud.cn
  ☆28Updated 9 years ago
• ysc / rank
  rank是一个seo工具，用于分析网站的搜索引擎收录排名。
  ☆66Updated 7 years ago
• jgchen / zookeeper-recipes
  zookeeper官方提供的分布式锁，选举master，和分布式队列实现
  ☆17Updated 11 years ago
• linpelvis / carrygo
  同步mysql数据库至hbase，kudu等存储系统
  ☆35Updated 8 years ago
• ruanjianlxm / panda-config
  基于zookeeper的分布式配置管理中心，在分布式系统中，配置文件经常多而繁杂，更新容易丢，有了这个组件，可以热更新，并且不会哪台机子上漏了哪个配置。
  ☆35Updated 9 years ago
• blogchong / mite8-com
  数据虫巢官网(mite8.com)站点源码，包括站点基础数据爬取代码，以及重构的NLP分词工具等。
  ☆48Updated 7 years ago
• ysc / high-availability
  保障服务的持续高可用、高性能及负载均衡
  ☆17Updated 8 years ago
• changge458 / userdraw
  用户画像代码，根据算法推算出用户的性别和年龄比率
  ☆11Updated 7 years ago
• garyudeng / Crawer
  各大电商网站数据抓取分析
  ☆33Updated 11 years ago
• jiekechoo / log-analysis-kafka-storm-docker
  Kafka, Storm, Zookeeper, and Openfire running in Docker
  ☆14Updated 9 years ago
• chenzhenyang / aquila
  迁移工具，目标是Oracle，MySQL，SqlServer到PostgreSQL的单项迁移，PostgreSQL和大数据平台Hive，Hbase，Impala等的双向迁移。
  ☆9Updated 10 years ago
• lrtdc / book_ldrtc
  《分布式实时计算框架原理及实践案例》一书中相关章节实例介绍
  ☆11Updated 8 years ago
• guofei1219 / BinlogAnalysis
  解析Mysql binlog日志并发至Kafka
  ☆23Updated 8 years ago
• rongfengliang / flink-docker-compose-demo
  flink-docker-compose-demo
  ☆10Updated 6 years ago
• qidasheng / storm-kafka-xlog
  java开发的基于kafka、xlog的web日志实时分析storm topology。
  ☆56Updated 10 years ago
• v5tech / programminghive
  Programming Hive读书笔记
  ☆12Updated 10 years ago
• v5tech / kafka-log4j
  使用kafka实现log4j日志集中管理
  ☆14Updated 4 years ago