Alternatives and similar repositories for HadoopDedup:

Users that are interested in HadoopDedup are comparing it to the libraries listed below

• xiaokugua250 / DataMingProject
  大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
  ☆74Updated 2 years ago
• wang1365 / storm-traffic
  使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）
  ☆51Updated 2 years ago
• oeljeklaus-you / LogAnalyzeHelper
  论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)
  ☆33Updated 6 years ago
• windwant / bigdata-service
  hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs
  ☆21Updated 6 years ago
• laixiangshun / bigdata-study
  大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；
  ☆23Updated 2 years ago
• gh-gan / SparkStreaming
  Streaming 相关项目
  ☆15Updated 7 years ago
• linjiayue / BigDataSalaryAnaliySystem
  大数据招聘信息分析平台
  ☆41Updated 8 years ago
• realxujiang / bigtable-sql
  分布式大数据SQL查询可视化界面！
  ☆68Updated 9 years ago
• Will-Grindelwald / Storm-Kafka
  Storm Kafka 流数据 处理系统
  ☆20Updated 6 years ago
• winstonelei / BigDataTools
  tools for bigData
  ☆37Updated 6 years ago
• ljcan / Spark_SQL_Project
  Spark Sql进行离线日志分析，Java Web+Echarts+Ajax进行数据可视化展示
  ☆27Updated 6 years ago
• Paleozoic / storm_spring_boot_demo
  一个基于Spring Boot的Storm开发手脚架，开箱即用！集成读写Kafka、写Redis、写MySQL示例。
  ☆58Updated 6 years ago
• zhang637 / kafka_spark_hbase_demo
  kafka spark hbase 日志统计
  ☆79Updated 8 years ago
• thestyleofme / common-datax
  基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步
  ☆53Updated 2 years ago
• guofei1219 / SparkSQL
  SparkSQL数据分析案例
  ☆23Updated 8 years ago
• 344399160 / sparkForDB
  使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装
  ☆32Updated 7 years ago
• xxrznj / flink-kafka-sql
  kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流（设置时间窗口，EventTime）
  ☆32Updated 6 years ago
• ken-hu / hui-bigdata-spark
  【bigdata】spirngboot+spark 脚手架+相关实例
  ☆21Updated 2 years ago
• zengxiaosen / eshop
  电商+大数据+spark机器学习
  ☆16Updated 7 years ago
• zhangziliang04 / DDW
  分布式数据仓库最佳实践
  ☆57Updated 6 years ago
• xpleaf / storm-statistic
  The real time project of storm for counting the pv and uv of a web site.
  ☆34Updated 6 years ago
• chensoul / grab
  基于spark、mahout和spring boot构建的推荐系统
  ☆131Updated this week
• linzhouzhi / spark_recommend
  hbase + spark 实现常用推荐算法（主要用于精准广告投放和推荐系统）
  ☆65Updated 8 years ago
• huangyueranbbc / SparkDemo
  spark全示例代码(java、scala) Spark most full instance code DEMO (java、scala)
  ☆81Updated 4 years ago
• lttoto / SparkStreamingProject
  SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现
  ☆36Updated 6 years ago
• a123demi / spring-sparkstreaming-kafka-10
  spring+spark streaming+kafka 10版本集成和异常问题处理
  ☆17Updated 7 years ago
• canghaiyisu666 / spider
  爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。
  ☆18Updated 9 years ago