fengchi66 / realtime-dw
一个实时数仓项目,从0到1搭建实时数仓
☆55Updated 3 years ago
Alternatives and similar repositories for realtime-dw:
Users that are interested in realtime-dw are comparing it to the libraries listed below
- 分享一些在工作中的大 数据实战案例,包括flink、kafka、hadoop、presto等等。欢迎大家关注我的公众号【大数据技术与应用实战】,一起成长。☆263Updated last year
- 京东RTF实时数据湖,是一个从底层重新构建的系统,解决了数据的接入、解析及清洗等ETL 过程,同时解决了传统离线模式达不到的实时性和流式实时数据做不到的数据清洗、还原,是一套大数据领域改革性的实时数据方案。RTF可以直接查询最新状态的数据,并且无需去重,可以让数据分析人员即…☆127Updated last year
- 数据血缘,Hive/Sqoop/HBase/Spark等,发送到kafka后,解析处理使用neo4j生成血缘☆81Updated 3 years ago
- 从本地IDEA提交Flink/Spark任务到Yarn/k8s集群☆162Updated 3 years ago
- 基于flink的电商实时数据分析、推荐、风控项目☆55Updated 2 years ago
- Using Flink SQL to build ETL job☆202Updated last year
- flink简易使用教程,结合官方仓库的example样例,结合常见场景,使用flink的基本功能☆111Updated 2 years ago
- 大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习,公共脚本,常用Shell脚本,Java,Scala,离线,实时,采集,计算,存储,可视化…☆119Updated 4 years ago
- 通过语法树解析获取字段级血缘数据☆61Updated last year
- flink实时处理kafka传来的数据通过连接池技术写入hbase☆95Updated 2 years ago
- dataService platform is a low-code platform, which only needs to write SQL to realize the development of API services, solve the unificat…☆110Updated last year
- Learning Flink : Flink CEP,Flink Core,Flink SQL☆71Updated 3 years ago
- 利用Druid SQL Parser解析HiveSQL日志,自动构建字段级别的血缘关系及主外键的自动抽取☆44Updated last year
- 电商平台数据仓库搭建☆129Updated last month
- 基于Flink+Kafka的全链路数仓, 包括实时和离线☆37Updated 2 years ago
- Hive hook, obtain task information from Hive, fetch input/output tables and lineage information from HSQL.☆39Updated last year
- Flink代码实例☆122Updated 4 years ago
- 基于 Flink 的 sqlSubmit 程序☆145Updated last year
- 数据建设与大数据技术知识体系,包含hadoop、hive、spark、flink主流框架和系列框架,数据中台、数据湖、数据治理、数仓建设、数据化转型等☆362Updated last week
- FlinkSQL数据脱敏和行级权限解决方案及源码,支持面向用户级别的数据脱敏和行级数据访问控制,即特定用户只能访问到脱敏后的数据或授权过的行。此方案是实时领域Flink的解决方案,类似于离线数仓Hive Ranger中的Row-level Filter和Column Mas…☆134Updated last year
- 学习 Spark 的一个小项目,以及其中各种调优的笔记☆177Updated 7 years ago
- 基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目☆115Updated 2 years ago
- 用户画像平台,涵盖标签管理,用户画像报告,用户分群,用户360视角,oneId服务☆102Updated last year
- Spark、Flink等离线任务的调度以及实时任务的监控☆300Updated last year
- Flink 电商指标分析系统☆33Updated last year
- 本 GitHub 项目是 Flink Forward Asia Hackathon (2021) 的投票专用项目。☆122Updated 3 years ago
- Doris表和字段血缘项目☆78Updated 10 months ago
- Flink 实时ETL案例☆46Updated 2 years ago
- Flink 菜鸟公众号代码地址☆64Updated 3 months ago
- 基于antlr4的sql解析,实现格式化,元数据,血源等自定义解析,包括hive☆111Updated 2 years ago