xiongmozhou / gmall-realtime
数仓实时项目
☆10Updated 5 years ago
Alternatives and similar repositories for gmall-realtime:
Users that are interested in gmall-realtime are comparing it to the libraries listed below
- 基于spark-streaming的实时数仓☆12Updated last year
- FlinkTutorial 专注大数据Flink流试处理技术。从基础入门、概念、原理、实战、性能调优、源码解析等内容,使用Java开发,同时含有Scala部分核心代码。欢迎关注我的博客及github。☆70Updated 2 years ago
- Streaming 相关项目☆15Updated 8 years ago
- SparkSQL数据分析案例☆23Updated 8 years ago
- spark将hdfs数据高性能灌入kafka,然后spark streaming/structured streaming高速消费,关注性能,欢迎提供性能/代码优化建议☆33Updated 6 years ago
- flink实时处理kafka传来的数据通过连接池技术写入hbase☆95Updated 2 years ago
- 信托数据仓库及商业智能☆32Updated 6 years ago
- hive仓库元数据管理系统☆166Updated 8 years ago
- SparkStreaming项目,显示flume->Kafka->Spark->hbase(实时数据处理方案),Scala实现☆36Updated 7 years ago
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆74Updated 2 years ago
- sql实现Structured Streaming☆39Updated 6 years ago
- 基于canal/kafka conenct的mysql/oracle数据实时同步、flink rest api、flink sql以及udf☆50Updated 2 years ago
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆32Updated 7 years ago
- 一个实时数仓项目,从0到1搭建实时数仓☆55Updated 3 years ago
- Spark structured-streaming 消费kafka数据写入hbase☆33Updated 6 years ago
- 使用flink快速构建实时监控系统报警☆19Updated 5 years ago
- 数据血缘,Hive/Sqoop/HBase/Spark等,发送到kafka后,解析处理使用neo4j生成血缘☆81Updated 3 years ago
- Spark Streaming监控平台,支持任务部署与告警、自启动☆128Updated 7 years ago
- hive sql 字段血缘☆22Updated 2 years ago
- kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流(设置时间窗口,EventTime)☆32Updated 6 years ago
- Hive hook, obtain task information from Hive, fetch input/output tables and lineage information from HSQL.☆39Updated last year
- 京东RTF实时数据湖,是一个从底层重新构建的系统,解决了数据的接入、解析及清洗等ETL 过程,同时解决了传统离线模式达不到的实时性和流式实时数据做不到的数据清洗、还原,是一套大数据领域改革性的实时数据方案。RTF可以直接查询最新状态的数据,并且无需去重,可以让数据分析人员即…☆127Updated last year
- 一个手动管理spark streaming集成kafka时的偏移量到zookeeper中的小项目☆134Updated 7 months ago
- 实时数据仓库搭建☆16Updated 5 years ago
- Flink Sql 教程☆34Updated 3 months ago
- tools for bigData☆37Updated 6 years ago
- 基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目☆115Updated 2 years ago
- SparkStreaming中利用MySQL保存Kafka偏移量保证0数据丢失☆45Updated 7 years ago
- 因现有的datax、sqoop满足不了需求,使用spark封装了一个数据同步工具。☆9Updated 5 years ago
- flinksql-platform☆19Updated 4 years ago