Alternatives and similar repositories for crawler-framework:

Users that are interested in crawler-framework are comparing it to the libraries listed below

• canghaiyisu666 / spider
  爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。
  ☆19Updated 9 years ago
• TQCCC / hive_to_es
  同步Hive数据仓库数据到Elasticsearch的小工具
  ☆21Updated 7 years ago
• rongfengliang / flink-docker-compose-demo
  flink-docker-compose-demo
  ☆10Updated 6 years ago
• shenbaise / goodcrawler
  网络爬虫
  ☆51Updated 11 years ago
• smartloli / Kafka-Eagle-Wiki
  Kafka Eagle used to describe the use of Wiki
  ☆11Updated 5 years ago
• duoan / codes-scratch-crawler
  读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘
  ☆47Updated 10 years ago
• peiliping / meepo
  异构存储数据迁移
  ☆30Updated 7 years ago
• Ac-heron / hero-canal
  hero
  Updated 7 years ago
• yxjay / SearchEngine-base-on-ElasticSearch-nutch-SSM
  基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎
  ☆20Updated 8 years ago
• ParadeTo / MessageQueue
  基于Flume、Kafka、SparkSql模拟的实时日志分析系统
  ☆12Updated 9 years ago
• supermy / flume-kafka-storm
  大数据实时计算的基础框架
  ☆49Updated 10 years ago
• GongDexing / elasticsearch-mysql
  简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本
  ☆48Updated 8 years ago
• linpelvis / carrygo
  同步mysql数据库至hbase，kudu等存储系统
  ☆35Updated 8 years ago
• chucheng92 / HadoopDedup
  基于Hadoop和HBase的大规模海量数据去重
  ☆29Updated 7 years ago
• maventalker / spring-boot-elasticsearch
  SpringBoot操作Elasticsearch的实战案例，elasticsearch 2.4.5/5.6.1
  ☆35Updated 5 years ago
• mayanhui / hadoop-hbase-examples
  hadoop hbase use case and examples, inclusing MR,HBaseUtil...
  ☆36Updated 11 years ago
• xuwangxu / jvm
  jvm堆内存结构、垃圾回收原理、jvm内存调优、jvm监控等
  ☆17Updated 6 years ago
• horrificer / vagary
  数据库访问中间件，统一的标准sql查询，底层可以是不同的数据库包括mysql、ElasticSearch、kylin、presto等。
  ☆15Updated 7 years ago
• xiaokugua250 / DataMingProject
  大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
  ☆75Updated 2 years ago
• yunshouhu / LogAnalyzer
  日志分析器，仿造elk中logstash的简单Java实现，实现监控目录日志，自动解析存入elasticsearch。
  ☆22Updated 9 years ago
• v5tech / kafka-log4j
  使用kafka实现log4j日志集中管理
  ☆14Updated 4 years ago
• singgel / BigData-skillTree
  【易车】- Spark、flink、HBase、Hive、flume集成了一些Hadoop的原生api的一些demo（如HDFS、MapReduce：目前就这两个）；同时测试一些异常功能
  ☆16Updated 6 years ago
• ucarGroup / PoseidonX
  poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台
  ☆55Updated 6 years ago
• QuanZhong / ZKConfig
  ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…
  ☆24Updated 10 years ago
• jgchen / zookeeper-recipes
  zookeeper官方提供的分布式锁，选举master，和分布式队列实现
  ☆17Updated 11 years ago
• honglongwei / pj-ELKstack
  实时日志采集分析
  ☆8Updated 8 years ago
• VIPJoey / Lidea
  大型分布式系统实时监控平台
  ☆28Updated 2 years ago
• qindongliang / hbase-increment-index
  hbase+solr实现hbase的二级索引
  ☆48Updated last month
• guofei1219 / SparkSQL
  SparkSQL数据分析案例
  ☆23Updated 8 years ago
• qindongliang / shell-mysql
  shell脚本分页导出mysql数据
  ☆16Updated 6 years ago