Alternatives and similar repositories for crawler-framework

Users that are interested in crawler-framework are comparing it to the libraries listed below

• shenbaise / goodcrawler
  网络爬虫
  ☆51Updated 11 years ago
• ucarGroup / EserKnife
  EserKnife
  ☆14Updated 7 years ago
• chensoul / grab
  基于spark、mahout和spring boot构建的推荐系统
  ☆130Updated last week
• realxujiang / storm-kafka-examples
  storm kafka hdfs examples
  ☆21Updated 9 years ago
• v5tech / kafka-log4j
  使用kafka实现log4j日志集中管理
  ☆14Updated 4 years ago
• xiaokugua250 / DataMingProject
  大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
  ☆75Updated 3 years ago
• smartloli / Kafka-Eagle-Wiki
  Kafka Eagle used to describe the use of Wiki
  ☆11Updated 5 years ago
• ucarGroup / PoseidonX
  poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台
  ☆56Updated 7 years ago
• GongDexing / elasticsearch-mysql
  简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本
  ☆48Updated 9 years ago
• mayanhui / hadoop-hbase-examples
  hadoop hbase use case and examples, inclusing MR,HBaseUtil...
  ☆35Updated 12 years ago
• TQCCC / hive_to_es
  同步Hive数据仓库数据到Elasticsearch的小工具
  ☆21Updated 7 years ago
• titainic / hadoop
  ☆16Updated 3 years ago
• coderczp / jmonitor
  专业java监控平台
  ☆77Updated 10 years ago
• spccold / super-diamond-enhance
  支持集群部署，动态推送，配置一键导出导入，模块管理，全局配置查询等功能,可匹敌disconf
  ☆23Updated 8 years ago
• gsh199449 / DistributeCrawler
  基于Map/Reduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类
  ☆74Updated 11 years ago
• zhangziliang04 / DDW
  分布式数据仓库最佳实践
  ☆58Updated 7 years ago
• ruanjianlxm / panda-config
  基于zookeeper的分布式配置管理中心，在分布式系统中，配置文件经常多而繁杂，更新容易丢，有了这个组件，可以热更新，并且不会哪台机子上漏了哪个配置。
  ☆35Updated 9 years ago
• realxujiang / bigtable-sql
  分布式大数据SQL查询可视化界面！
  ☆68Updated 10 years ago
• DTStack / catcher
  java性能采集工具
  ☆51Updated 7 years ago
• canghaiyisu666 / spider
  爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。
  ☆19Updated 10 years ago
• junneyang / http-benchmark-netty
  基于Java Netty的HTTP客户端工具 & HTTP高性能测试工具。参数灵活定制、支持邮件报表等。Python Tornado版: https://github.com/junneyang/http-benchmark-tornado 。
  ☆42Updated 11 years ago
• fjfd / microscope
  大规模分布式系统的跟踪、监控、告警平台
  ☆55Updated 11 years ago
• zhang637 / kafka_spark_hbase_demo
  kafka spark hbase 日志统计
  ☆81Updated 9 years ago
• wykingfly / ElasticSearch-SQL
  该项目主要是为了熟悉sql的人员能够很方便的进行elasticsearch数据的查询，降低学习成本。
  ☆48Updated 10 years ago
• guofei1219 / BinlogAnalysis
  解析Mysql binlog日志并发至Kafka
  ☆23Updated 9 years ago
• 2shou / HBaseObserver
  通过HBase Observer同步数据到ElasticSearch
  ☆54Updated 10 years ago
• aalansehaiyang / data-migration
  用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性
  ☆45Updated 8 years ago
• ucarGroup / zkdoctor
  zkdoctor是一个ZooKeeper服务的统计、监控报警以及自动化运维平台
  ☆87Updated 5 years ago
• yunshouhu / LogAnalyzer
  日志分析器，仿造elk中logstash的简单Java实现，实现监控目录日志，自动解析存入elasticsearch。
  ☆22Updated 9 years ago
• QuanZhong / ZKConfig
  ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…
  ☆25Updated 10 years ago