xuanbo / flink-cdc
CDC(变化数据捕获)实时同步方案,秒级延迟。
☆58Updated 2 years ago
Related projects: ⓘ
- datax数据同步elasticsearch的reader和writer插件,支持一对多的扁平数据转换成es的嵌套对象,也支持嵌套对象的读取和ognl表达式过滤,理论上可以无限嵌套。☆85Updated 9 months ago
- 分享一些在工作中的大数据实战案例,包括flink、kafka、hadoop、presto等等。欢迎大家关注我的公众号【大数据技术与应用实战】,一起成长。☆261Updated 7 months ago
- 针对datax进行2次开发,实现data 以rpc的方式传递json配置调用推数服务,同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心; 同时项目内扩展了kafkawriter,rabbitmqwriter,esreader,hiveread…☆67Updated last year
- ☆67Updated 2 years ago
- 该项目整合了多款优秀的开源产品,构建了一个功能全面的数据开发平台。平台提供了强大的数据集成、数据开发、数据查询、数据服务、数据质量管理、工作流调度和元数据管理功能。#dinky #dolphinscheduler #datavines #flinkcdc #openmeta…☆186Updated last week
- 大数据平台后端项目☆180Updated last week
- 🔥🔥🔥支持插件化、可视化的数据异构框架mykit-data开源啦!支持MySQL到MySQL、MySQL到Oracle、Oracle到MySQL、Oracle到Oracle的全量、增量数据同步。完全的插件化、可视化操作。通过日志最大限度的避免同步过程中的数据丢失。支持…☆175Updated last year
- 从本地IDEA提交Flink/Spark任务到Yarn/k8s集群☆162Updated 2 years ago
- Asynchronous flink connector based on the Lettuce, supporting sql join and sink, query caching and debugging.☆211Updated last month
- DataSphereStudio documents.☆110Updated 7 months ago
- ranger and ldap demo☆10Updated last year
- ☆48Updated 2 years ago
- RocketMQ integration for Apache Flink. This module includes the RocketMQ source and sink that allows a flink job to either write messages…☆141Updated 4 months ago
- FlinkSQL数据脱敏和行级权限解决方案及源码,支持面向用户级别的数据脱 敏和行级数据访问控制,即特定用户只能访问到脱敏后的数据或授权过的行。此方案是实时领域Flink的解决方案,类似于离线数仓Hive Ranger中的Row-level Filter和Column Mas…☆116Updated 11 months ago
- Using Flink SQL to build ETL job☆200Updated 11 months ago
- Real time data processing system based on flink and CEP☆242Updated 5 months ago
- 【2024最新版】 大数据 数据分析 电商系统 实时数仓 离线数仓 数据湖 建设方案及实战代码,涉及组件 #flink #paimon #doris #seatunnel #dolphinscheduler #datart #dinky #hudi #iceberg。☆335Updated this week
- 你知道的越多,你不知道的也越多。Java技术栈既广且深,我们需要打破不同知识点的壁垒,形成完整的知识图谱,完成从information到knowledge的升华。☆115Updated last year
- 数据采集平台zdh,etl 处理服务☆68Updated this week
- dataService platform is a low-code platform, which only needs to write SQL to realize the development of API services, solve the unificat…☆101Updated last year
- The java sdk for operating Apache Dolphinscheduler.☆55Updated 3 months ago
- 基于插件架构的数据源服务,统一接口,可操作不同类型数据源☆42Updated last year
- 数据建设与大数据技术知识体系,包含hadoop、hive、spark、flink主流框架和系列框架,数据中台、数据湖、数据治理、数仓建设、数据化转型等☆316Updated 6 months ago
- Doris表和字段血缘项目☆68Updated 4 months ago
- 基于 Flink 的 sqlSubmit 程序☆145Updated 6 months ago
- 这是一个可自由拖拽的BI可视化系统 支持主流的关系数据:MySQL,Oracle,PostgreSQL等 同时支持Apache Doris☆185Updated 2 years ago
- FlinkTutorial 专注大数据Flink流试处理技术。从基础入门、概念、原理、实战、性能调优、源码解析等内容,使用Java开发,同时含有Scala部分核心代码。欢迎关注我的博客及github。☆70Updated 2 years ago
- ☆24Updated this week
- 数据血缘,Hive/Sqoop/HBase/Spark等,发送到kafka后,解析处理使用neo4j生成血缘☆78Updated 3 years ago
- 数据血缘☆49Updated 2 months ago