Alternatives and similar repositories for HadoopDedup:

Users that are interested in HadoopDedup are comparing it to the libraries listed below

• xiaokugua250 / DataMingProject
  大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
  ☆75Updated 2 years ago
• 344399160 / sparkForDB
  使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装
  ☆32Updated 8 years ago
• oeljeklaus-you / LogAnalyzeHelper
  论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)
  ☆33Updated 6 years ago
• 29DCH / Real-time-log-analysis-system
  基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)
  ☆37Updated last year
• realxujiang / bigtable-sql
  分布式大数据SQL查询可视化界面！
  ☆68Updated 9 years ago
• laixiangshun / bigdata-study
  大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；
  ☆23Updated 2 years ago
• windwant / bigdata-service
  hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs
  ☆21Updated 6 years ago
• winstonelei / BigDataTools
  tools for bigData
  ☆37Updated 6 years ago
• thestyleofme / common-datax
  基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步
  ☆53Updated 2 years ago
• gh-gan / SparkStreaming
  Streaming 相关项目
  ☆15Updated 8 years ago
• linzhouzhi / spark_recommend
  hbase + spark 实现常用推荐算法（主要用于精准广告投放和推荐系统）
  ☆67Updated 8 years ago
• Will-Grindelwald / Storm-Kafka
  Storm Kafka 流数据 处理系统
  ☆20Updated 6 years ago
• zhangziliang04 / DDW
  分布式数据仓库最佳实践
  ☆57Updated 7 years ago
• wang1365 / storm-traffic
  使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）
  ☆51Updated 2 years ago
• ucarGroup / PoseidonX
  poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台
  ☆55Updated 6 years ago
• ljcan / Spark_SQL_Project
  Spark Sql进行离线日志分析，Java Web+Echarts+Ajax进行数据可视化展示
  ☆27Updated 6 years ago
• qindongliang / hbase-increment-index
  hbase+solr实现hbase的二级索引
  ☆48Updated last month
• guofei1219 / SparkSQL
  SparkSQL数据分析案例
  ☆23Updated 8 years ago
• Paleozoic / storm_spring_boot_demo
  一个基于Spring Boot的Storm开发手脚架，开箱即用！集成读写Kafka、写Redis、写MySQL示例。
  ☆59Updated 6 years ago
• TopSpoofer / kafka-spark-streaming-to-hbase
  使用spark streaming 导入kafka数据到hbase
  ☆25Updated 9 years ago
• zhang637 / kafka_spark_hbase_demo
  kafka spark hbase 日志统计
  ☆79Updated 8 years ago
• scalad / SpringBoot-Scala
  可以说近几年Spark的流行带动了Scala的发展，它集成了面向对象编程和函数式编程的各种特性，Scala具有更纯Lambda表粹的函数式业务逻辑解决方案，其语法比Java8后Lambda更加简洁方便，SpringBoot为Spring提供了一种更加方便快捷的方式，不再要求…
  ☆61Updated 7 years ago
• Gyoliu / phoenix-hbase
  phoenix 操作hbase和springboot的整合
  ☆11Updated 7 years ago
• MOBIN-F / BigDataLearning
  总结了一些Spark学习过程中的例子（附代码详细注释）
  ☆23Updated 6 years ago
• zunzhuowei / qs-hadoop
  大数据生态圈学习
  ☆18Updated 2 years ago
• ken-hu / hui-bigdata-spark
  【bigdata】spirngboot+spark 脚手架+相关实例
  ☆22Updated 2 years ago
• xxrznj / flink-kafka-sql
  kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流（设置时间窗口，EventTime）
  ☆32Updated 6 years ago
• lttoto / SparkStreamingProject
  SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现
  ☆36Updated 7 years ago
• 2shou / HBaseObserver
  通过HBase Observer同步数据到ElasticSearch
  ☆55Updated 9 years ago
• duhanmin / structured-streaming-Kafka2HBase
  Spark structured-streaming 消费kafka数据写入hbase
  ☆33Updated 6 years ago