Alternatives and similar repositories for HadoopDedup

Users that are interested in HadoopDedup are comparing it to the libraries listed below

• xiaokugua250 / DataMingProject
  大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
  ☆75Updated 2 years ago
• oeljeklaus-you / LogAnalyzeHelper
  论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)
  ☆33Updated 7 years ago
• laixiangshun / bigdata-study
  大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；
  ☆23Updated 2 years ago
• Gyoliu / phoenix-hbase
  phoenix 操作hbase和springboot的整合
  ☆11Updated 7 years ago
• windwant / bigdata-service
  hadoop flume hbase kafka storm；读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs
  ☆21Updated 6 years ago
• thestyleofme / common-datax
  基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步
  ☆53Updated 2 years ago
• guofei1219 / SparkSQL
  SparkSQL数据分析案例
  ☆23Updated 8 years ago
• gh-gan / SparkStreaming
  Streaming 相关项目
  ☆15Updated 8 years ago
• gingerredjade / flink-userportrait-VuejsShow
  基于Flink流处理的动态实时亿级全端用户画像系统可视化界面
  ☆34Updated 2 years ago
• winstonelei / BigDataTools
  tools for bigData
  ☆37Updated 6 years ago
• zhang637 / kafka_spark_hbase_demo
  kafka spark hbase 日志统计
  ☆79Updated 8 years ago
• xxrznj / flink-kafka-sql
  kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流（设置时间窗口，EventTime）
  ☆32Updated 7 years ago
• wang1365 / storm-traffic
  使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）
  ☆51Updated 2 years ago
• realxujiang / bigtable-sql
  分布式大数据SQL查询可视化界面！
  ☆68Updated 9 years ago
• 29DCH / Real-time-log-analysis-system
  基于spark streaming+flume+kafka+hbase的实时日志处理分析系统(分为控制台版本和基于springboot、Echarts等的Web UI可视化版本)
  ☆37Updated last year
• zunzhuowei / qs-hadoop
  大数据生态圈学习
  ☆18Updated 2 years ago
• zxxxc / sparksubmit
  ☆11Updated 6 years ago
• Will-Grindelwald / Storm-Kafka
  Storm Kafka 流数据 处理系统
  ☆20Updated 6 years ago
• qindongliang / hbase-increment-index
  hbase+solr实现hbase的二级索引
  ☆48Updated 2 months ago
• linzhouzhi / spark_recommend
  hbase + spark 实现常用推荐算法（主要用于精准广告投放和推荐系统）
  ☆67Updated 8 years ago
• xuwei517 / FlinkProj
  Flink 案例代码
  ☆43Updated 2 years ago
• 344399160 / sparkForDB
  使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装
  ☆33Updated 8 years ago
• ucarGroup / PoseidonX
  poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台
  ☆55Updated 6 years ago
• lei-zuquan / UserBehaviorAnalysis
  Flink电商项目，实时统计分析 + 风控
  ☆25Updated 5 years ago
• ken-hu / hui-bigdata-spark
  【bigdata】spirngboot+spark 脚手架+相关实例
  ☆22Updated 2 years ago
• HenryBao91 / FlinkProj
  Flink 案例开发数据清洗、数据报表
  ☆53Updated 2 years ago
• hy-wux / Export
  数据的导出（支持DB2、MySQL、Oracle、Teradata数据库的数据导出）、合并（支持将多个小数据文件合并成一个大的数据文件）、传输（支持FTP、SFTP数据传输）程序，适用于向指定FTP服务器供数的情况，常见于多个源系统以数据文件的形式向数据仓库集中供数。该程序…
  ☆24Updated 9 years ago
• yunshouhu / LogAnalyzer
  日志分析器，仿造elk中logstash的简单Java实现，实现监控目录日志，自动解析存入elasticsearch。
  ☆22Updated 9 years ago
• janecd / RiskRule
  实时风控系统，基于spark-streaming、drools、kafka、redis
  ☆52Updated 6 years ago
• zhangziliang04 / DDW
  分布式数据仓库最佳实践
  ☆57Updated 7 years ago