xuanbo / flink-cdc
CDC(变化数据捕获)实时同步方案,秒级延迟。
☆59Updated 2 years ago
Related projects ⓘ
Alternatives and complementary repositories for flink-cdc
- 针对datax进行2次开发,实现data 以rpc的方式传递json配置调用推数服务,同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心; 同时项目内扩展了kafkawriter,rabbitmqwriter,esreader,hiveread…☆68Updated last year
- 大数据平台后端项目☆186Updated 3 weeks ago
- ☆48Updated 2 years ago
- RocketMQ integration for Apache Flink. This module includes the RocketMQ source and sink that allows a flink job to either write messages…☆144Updated 6 months ago
- 该项目整合了多款优秀的开源产品,构建了一个功能全面的数据开发平台。平台提供了强大的数据集成、数据开发、数据查询、数据服务、数据质量管理、工作流调度和元数据管理功能。#dinky #dolphinscheduler #datavines #flinkcdc #openmeta…☆282Updated 2 months ago
- Apache StreamPark quickstart☆67Updated 4 months ago
- 分享一些在工作中的大数据实战案例,包括flink、kafka、hadoop、presto等等。欢迎大家关注我的公众号【大数据技术与应用实战】,一起成长。☆262Updated 9 months ago
- 基于插件架构的数据源服务,统一接口,可操作不同类型数据源☆45Updated last year
- 数据建设与大数据技术知识体系,包含hadoop、hive、spark、flink主流框架和系列框架,数据中台、数据湖、数据治理、数仓建设、数据化转型等☆327Updated 8 months ago
- ☆32Updated last year
- datax数据同步elasticsearch的reader和writer插件,支持一对多的扁平数据转换成es的嵌套对象,也支持嵌套对象的读取和ognl表达式过滤,理论上可以无限嵌套。☆88Updated 11 months ago
- 这是一个可自由拖拽的BI可视化系统 支持主流的关系数据:MySQL,Oracle,PostgreSQL等 同时支持Apache Doris☆191Updated 2 years ago
- 【2024最新版】 大数据 数据分析 电商系统 实时数仓 离线数仓 数据湖 建设方案及实战代码,涉及组件 #flink #paimon #doris #seatunnel #dolphinscheduler #datart #dinky #hudi #iceberg。☆543Updated last week
- 基于flink-cdc的数据同步工具,用于mysql同步至doris☆29Updated last year
- 从本地IDEA提交Flink/Spark任务到Yarn/k8s集群☆162Updated 3 years ago
- 🔥🔥🔥支持插件化、可视化的数据异构框架mykit-data开源啦!支持MySQL到MySQL、MySQL到Oracle、Oracle到MySQL、Oracle到Oracle的全量、增量数据同步。完全的插件化、可视化操作。通过日志最大限度的避免同步过程中的数据丢失。支持…☆178Updated last year
- Using Flink SQL to build ETL job☆200Updated last year
- ☆67Updated 2 years ago
- Flink 实时ETL案例☆46Updated 2 years ago
- DataX分布式集群化、自定义DataX插件、源码修改任务监控以及脏数据存表Hook☆25Updated 3 years ago
- FlinkTutorial 专注大数据Flink流试处理技术。从基础入门、概念、原理、实战、性能调优、源码解析等内容,使用Java开发,同时含有Scala部分核心代码。欢迎关注我的博客及github。☆71Updated 2 years ago
- Asynchronous flink connector based on the Lettuce, supporting sql join and sink, query caching and debugging.☆220Updated this week
- dataService platform is a low-code platform, which only needs to write SQL to realize the development of API services, solve the unificat…☆103Updated last year
- 一个实时数仓项目,从0到1搭建实时数仓☆54Updated 3 years ago
- Doris表和字段血缘项目☆73Updated 6 months ago
- 该仓库专注于让读者秒懂Flink组件,包含Flink实战代码和文档、200个Flink教程知识点,Flink Datastream、Flink Table、Flink Window、Flink State、Flink Checkpoint、Flink Metrics、Fli…☆690Updated 5 months ago
- 此项目主要应用于数据中台或数据平台的数据总线,支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。☆60Updated 11 months ago
- 大数据采集,抽取平台,zdh_web是zdh系列服务的可视化管理平台,包含数据采集,调度,权限,审批流,私域营销等模块☆468Updated this week
- 京东RTF实时数据湖,是一个从底层重新构建的系统,解决了数据的接入、解析及清洗等ETL 过程,同时解决了传统离线模式达不到的实时性和流式实时数据做不到的数据清洗、还原,是一套大数据领域改革性的实时数据方案。RTF可以直接查询最新状态的数据,并且无需去重,可以让数据分析人员即…☆125Updated last year
- 基于 Flink 的 sqlSubmit 程序☆144Updated 8 months ago