Alternatives and similar repositories for HadoopDedup:

Users that are interested in HadoopDedup are comparing it to the libraries listed below

• xiaokugua250 / DataMingProject
  大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
  ☆74Updated 2 years ago
• oeljeklaus-you / LogAnalyzeHelper
  论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)
  ☆33Updated 6 years ago
• a123demi / spring-sparkstreaming-kafka-10
  spring+spark streaming+kafka 10版本集成和异常问题处理
  ☆17Updated 7 years ago
• winstonelei / BigDataTools
  tools for bigData
  ☆37Updated 6 years ago
• laixiangshun / bigdata-study
  大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；
  ☆23Updated 2 years ago
• windwant / bigdata-service
  hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs
  ☆21Updated 6 years ago
• 344399160 / sparkForDB
  使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装
  ☆32Updated 7 years ago
• gh-gan / SparkStreaming
  Streaming 相关项目
  ☆15Updated 8 years ago
• zhang637 / kafka_spark_hbase_demo
  kafka spark hbase 日志统计
  ☆79Updated 8 years ago
• ken-hu / hui-bigdata-spark
  【bigdata】spirngboot+spark 脚手架+相关实例
  ☆22Updated 2 years ago
• qindongliang / hbase-increment-index
  hbase+solr实现hbase的二级索引
  ☆48Updated 3 weeks ago
• xxrznj / flink-kafka-sql
  kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流（设置时间窗口，EventTime）
  ☆32Updated 6 years ago
• Paleozoic / storm_spring_boot_demo
  一个基于Spring Boot的Storm开发手脚架，开箱即用！集成读写Kafka、写Redis、写MySQL示例。
  ☆59Updated 6 years ago
• zhangziliang04 / DDW
  分布式数据仓库最佳实践
  ☆57Updated 6 years ago
• thestyleofme / flink-api-spring-boot-starter
  flink rest api的spring-boot-starter
  ☆17Updated last year
• seawaylee / spark-rec-v2
  Spark混合推荐系统大数据监控平台
  ☆11Updated 6 years ago
• ucarGroup / PoseidonX
  poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台
  ☆55Updated 6 years ago
• Will-Grindelwald / Storm-Kafka
  Storm Kafka 流数据 处理系统
  ☆20Updated 6 years ago
• guoad / canal-kafka-hbase
  项目脉络:canal监控mysql输送binlog生产到kafka，kafka消费到hbase！ date:20180228
  ☆23Updated 7 years ago
• scalad / SpringBoot-Scala
  可以说近几年Spark的流行带动了Scala的发展，它集成了面向对象编程和函数式编程的各种特性，Scala具有更纯Lambda表粹的函数式业务逻辑解决方案，其语法比Java8后Lambda更加简洁方便，SpringBoot为Spring提供了一种更加方便快捷的方式，不再要求…
  ☆61Updated 7 years ago
• hy-wux / Export
  数据的导出（支持DB2、MySQL、Oracle、Teradata数据库的数据导出）、合并（支持将多个小数据文件合并成一个大的数据文件）、传输（支持FTP、SFTP数据传输）程序，适用于向指定FTP服务器供数的情况，常见于多个源系统以数据文件的形式向数据仓库集中供数。该程序…
  ☆24Updated 9 years ago
• zxxxc / sparksubmit
  ☆11Updated 6 years ago
• zhanghenry / Trust_DWBI
  信托数据仓库及商业智能
  ☆32Updated 6 years ago
• thestyleofme / common-datax
  基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步
  ☆53Updated 2 years ago
• xuwei517 / FlinkProj
  Flink 案例代码
  ☆43Updated 2 years ago
• Thinkgamer / Hadoop-Spark-Learning
  本项目记录我学习hadoop和spark等开源框架的代码，因为也是最近才用github，之前都是荒废状态，故部分都是是之前写好的，现在上传至github
  ☆86Updated 7 years ago
• TopSpoofer / kafka-spark-streaming-to-hbase
  使用spark streaming 导入kafka数据到hbase
  ☆25Updated 9 years ago
• jacksoup / HbaseAPI
  基于Java，封装了hbase的底层api，提供了基于注解的ORM支持，只需定义实体类对象，即可完成对hbase的各种操作。同时对List、Set、Map等复杂数据类型提供了支持
  ☆43Updated 8 years ago
• appleappleapple / BigDataLearning
  Spark、Hadoop、Flink、Storm、Kafka编程实例学习
  ☆168Updated 7 years ago
• zgl1011 / canal-kafka-hbase
  基于canal.deployer-1.1.1-SNAPSHOT.tar，canal连接kafka，springboot消费kafka数据入hbase和ElasticSearch
  ☆14Updated 6 years ago