nengm / cdcLinks
mysql通过binlog实现增量、oracle通过logminer实现增量
☆14Updated 3 years ago
Alternatives and similar repositories for cdc
Users that are interested in cdc are comparing it to the libraries listed below
Sorting:
- 基于flink-cdc的数据同步工具,用于mysql同步至doris☆32Updated 7 months ago
- 运行时动态注册切换数据源，自动生成SQL(DDL/DML/DQL)，读写元数据，对比数据库结构差异。适配100+关系/非关系数据库。 常用于动态场景的底层支持,如:数据中台、可视化、低代码后台、工作流、自定义表单、异构数据库迁移同步、物联网车联网数据处理、数据清洗、运行时自…☆323Updated this week
- 异构数据库数据结构转换与离线同步工具来源于https://gitee.com/inrgihc/dbswitch.git☆22Updated last year
- Crabc是低代码开发平台，企业级API接口发布系统，深度整合SpringBoot和Mybatis实现动态数据源和动态SQL，可视化编写SQL快速发布接口☆147Updated this week
- MyDataHarbor是一个致力于解决任意数据源到任意数据源的分布式、高扩展性、高性能、事务级的数据同步中间件。帮助用户可靠、快速、稳定的对海量数据进行准实时增量同步或者定时全量同步，主要定位是为实时交易系统服务，亦可用于大数据的数据同步（ETL领域）。☆86Updated 5 months ago
- ERD Online is an online collaborative data warehouse design software. It does not need to install applications locally and operate databa…☆255Updated last year
- 🔥🔥🔥支持插件化、可视化的数据异构框架mykit-data开源啦！支持MySQL到MySQL、MySQL到Oracle、Oracle到MySQL、Oracle到Oracle的全量、增量数据同步。完全的插件化、可视化操作。通过日志最大限度的避免同步过程中的数据丢失。支持…☆190Updated 2 years ago
- A tool to transfer DDL between different database, including Mysql、PostgreSQL、Oracle、Hive and so on.这是一款实现不同数据库之间表结构（DDL）自动转换的工具，包括：Mysql…☆52Updated 2 years ago
- DataX分布式集群与负载均衡、任务执行/统计，基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步☆43Updated 5 years ago
- 史上最轻便好用的kafka 可视化图形界面客户端工具，可以生产消费消息，管理topic、group、集群。支持管理多个kafka环境。同时支持zookeeper redis 图形化界面操作☆133Updated 2 years ago
- 🔥 一个快速将SQL转换为API接口的平台☆37Updated 10 months ago
- binlog2sql工具的java版☆51Updated 6 years ago
- API敏捷开发框架，用于API接口功能的快速开发。不再定义Controller,Service,Dao,Mybatis,xml,Entity,VO等对象和方法.以springboot starter 形式集成使用☆339Updated 9 months ago
- Super-Sql 是一个基于国内外先进生成式大模型的Java框架，专注于将数据库表结构通过检索增强生成（RAG, Retrieval-Augmented Generation）技术进行训练，从而实现从自然语言文本到SQL查询的智能转换（Text to SQL）。该框架旨在…☆129Updated 6 months ago
- 同时支持在线和离线解析binlog，输出标准sql☆184Updated last year
- 大数据平台后端项目☆296Updated 3 months ago
- 基于DataX的数据同步任务调度工具，支持自定义定时任务，支持crontab表达式，支持自定义添加DataX数据同步任务☆38Updated 6 years ago
- datax-web-docker☆51Updated 2 years ago
- ☆46Updated 2 years ago
- aliyun出的otter同步平台，配置过于恶心，如果你要配置线上1000个任务，你是不是要傻了，所以搞个自动化批量配置☆28Updated 3 years ago
- 基于日志模板构建，采集任务动态管控、数据质量精确度量，一站式日志采集平台☆275Updated 7 months ago
- 基于AviatorScript的规则引擎实例☆133Updated 2 years ago
- 针对datax进行2次开发，实现data 以rpc的方式传递json配置调用推数服务，同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心； 同时项目内扩展了kafkawriter，rabbitmqwriter，esreader，hiveread…☆70Updated 3 years ago
- 新一代全景式实时业务监控系统，承载1000万个监控项，每天可高效处理5000亿条消息。XL-LightHouse是一套支持超大数据量、支持超高并发的实时业务指标监控系统【同时支持单机版】。常见的应用场景包括：PV、UV统计；电商销售额、下单用户数统计；日志量统计；接口调用量…☆375Updated this week
- 基于LiteFlow/QLExpress规则引擎的风控决策系统，旨在为企业提供高效、灵活且可扩展的风险控制解决方案。☆144Updated 9 months ago
- 大数据平台前端项目☆55Updated 6 months ago
- kb-dms是一个WEB版的数据库管理平台，此平台支持权限可控、执行记录追踪、数据源配置管理、在线库表查询+编辑+新增等操作。☆281Updated 3 years ago
- Intellij IDEA的一个Code Review代码检视、代码评审的插件。可以在本地的IDEA工具中进行添加检视意见、评审意见等，支持Excel导入导出，可视化界面，方便项目中代码走读。☆120Updated last year
- DBSyncer（简称dbs）是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性…☆863Updated this week
- etl engine 轻量级 跨平台 流批一体ETL引擎 数据抽取-转换-装载 ETL engine lightweight cross platform batch flow integration ETL engine data extraction transfor…☆77Updated last year