chenzuoli / ETL

Related projects: ⓘ

• peopleindreamdontsleep / SparkanSpider
  java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES
  ☆21Updated 5 years ago
• janecd / RiskRule
  实时风控系统，基于spark-streaming、drools、kafka、redis
  ☆50Updated 6 years ago
• xiaokugua250 / DataMingProject
  大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
  ☆73Updated last year
• HeLinZhang / betl
  ☆20Updated this week
• 344399160 / sparkForDB
  使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装
  ☆32Updated 7 years ago
• 2016gary / hummingbirdSystem
  蜂鸟数据分析平台帮助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景
  ☆21Updated 5 years ago
• oeljeklaus-you / LogAnalyzeHelper
  论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)
  ☆33Updated 6 years ago
• gingerredjade / flink-userportrait-VuejsShow
  基于Flink流处理的动态实时亿级全端用户画像系统可视化界面
  ☆33Updated last year
• horrificer / vagary
  数据库访问中间件，统一的标准sql查询，底层可以是不同的数据库包括mysql、ElasticSearch、kylin、presto等。
  ☆13Updated 6 years ago
• duguyiren3476 / figure_userprofile_streaming
  ☆24Updated this week
• chucheng92 / HadoopDedup
  基于Hadoop和HBase的大规模海量数据去重
  ☆29Updated 6 years ago
• jiangzongyao / kettle-master
  基于kettle8.0的作业/转换管理框架
  ☆32Updated 6 years ago
• jetbinliu / prophet
  一个优秀的大数据查询平台，提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。
  ☆24Updated 6 years ago
• shiyuren / databi
  数据分析快速开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现
  ☆22Updated 6 years ago
• laixiangshun / bigdata-study
  大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；
  ☆21Updated 2 years ago
• dkhadoop / dk-fitting
  Fitting是一个面向大数据的统一的开发框架，由大快搜索主导并完全开源，克服了大数据技术开发涉及技术面广,各组件间缺乏统一规范等问题，能有效降低大数据的学习难度，并提高大数据项目的开发效率并可与开源项目混用。 Fitting遵循Apache2.0开源协议，采用类黑箱框架模…
  ☆172Updated last year
• beautifulNow1992 / flowml
  ☆10Updated this week
• realxujiang / bigtable-sql
  分布式大数据SQL查询可视化界面！
  ☆68Updated 8 years ago
• anlasite / durineage
  ☆14Updated this week
• zhanghenry / Trust_DWBI
  信托数据仓库及商业智能
  ☆32Updated 6 years ago
• quan2005 / flink-connector-debezium
  此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。
  ☆57Updated 9 months ago
• zhangziliang04 / DDW
  分布式数据仓库最佳实践
  ☆57Updated 6 years ago
• a123demi / spring-sparkstreaming-kafka-10
  spring+spark streaming+kafka 10版本集成和异常问题处理
  ☆18Updated 7 years ago
• MOBIN-F / Binlog2Hive
  MySQL增量数据实时同步到HDFS/Hive
  ☆11Updated 6 years ago
• thestyleofme / flink-api-spring-boot-starter
  flink rest api的spring-boot-starter
  ☆17Updated last year
• wujunpan / flinkSQL-
  基于袋鼠云提供的开源flinkStreamSQL项目，对其实时sql进行可视化功能开发；通过tcpip通信，前端页面选择需要连接的数据库信息，并写sql语句，点击提交后，后端自动执行集群启动和JobGraph提交，并返回结果给前端页面。实现了使用者即使不了解Kafka、fl…
  ☆11Updated 5 years ago
• vbay / rubick
  拉比克是一个开源大数据平台构建方案，已稳定应用于生产集群。融合Hadoop、Hive、Hbase、zookeeper等如CDH
  ☆13Updated 5 years ago
• singgel / BigData-skillTree
  【易车】- Spark、flink、HBase、Hive、flume集成了一些Hadoop的原生api的一些demo（如HDFS、MapReduce：目前就这两个）；同时测试一些异常功能
  ☆16Updated 5 years ago
• ml-distribution / negative-sentiment
  基于词典的负面舆情信息评分算法。
  ☆25Updated 9 years ago
• warlock-china / wisp
  数据处理平台
  ☆16Updated 7 years ago