针对datax进行2次开发，实现data 以rpc的方式传递json配置调用推数服务，同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心； 同时项目内扩展了kafkawriter，rabbitmqwriter，esreader，hivereader。增强了hdfs插件，支持分区表推送，支持动态参数传递（例如时间实现自增式抽取）。具体使用方式可以参照example模块。目前该服务已经稳定服务某上市公司半年，累计总任务数100+ ，日推送数据过10亿。具体如何使用，如何做插件开发以及datax底层原理，请关注https://blog.csdn.net/xiaoyao1999hn
☆70Dec 14, 2022Updated 3 years ago
Alternatives and similar repositories for datax-service
Users that are interested in datax-service are comparing it to the libraries listed below
Sorting:
- skycloud-base 运维管理平台前端页面☆16Dec 10, 2022Updated 3 years ago
- 将datax改成一个java服务包，支持单jvm同时运行多个实例，整合调度代码，提供api调用接口，可以直接集成到已有服务框架。☆37Dec 6, 2022Updated 3 years ago
- 基于阿里Datax改版web datax ,支持管理平台与restful风格API☆29Dec 6, 2022Updated 3 years ago
- DataX分布式集群与负载均衡、任务执行/统计，基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步☆43Jan 18, 2021Updated 5 years ago
- ☆25Oct 23, 2019Updated 6 years ago
- 使用springboot启动datax，方便以web方式使用☆227Jan 11, 2023Updated 3 years ago
- DataX分布式集群化、自定义DataX插件、源码修改任务监控以及脏数据存表Hook☆26Jan 18, 2021Updated 5 years ago
- 早该知道的一种更高级的 transformer 自定义实现方法。☆30Mar 28, 2019Updated 6 years ago
- DataX 3.0 平台上脱敏算法的集成与实现。☆154May 10, 2018Updated 7 years ago
- HiveReader for alibaba DataX☆17Jul 23, 2023Updated 2 years ago
- Addax Admin is a web-based management console for Addax ETL jobs, offering task scheduling, monitoring, and data management with a Vue 3 …☆18Updated this week
- flink sql☆11Jun 21, 2022Updated 3 years ago
- A Model Context Protocol (MCP) server for Apache Dolphinscheduler. This provides access to your Apache Dolphinshcheduler RESTful API V1 …☆20May 14, 2025Updated 9 months ago
- for iot-gateway device drive(device/ammeter下有完整DLT645-2007驱动和例子)☆10Dec 8, 2022Updated 3 years ago
- 一个模拟传感器接入控制, 数据监控平台(springboot 后端)☆11Feb 20, 2019Updated 7 years ago
- ActorCloud Documentation☆12Oct 5, 2022Updated 3 years ago
- chaosblade help documents☆12Sep 15, 2025Updated 5 months ago
- ETL Tools 数据抽取-转换-加载工具☆80Oct 21, 2016Updated 9 years ago
- Elasticsearch_7 基本操作、嵌套查询、MultiSearchTemplateRequest，rangeQuery，父子关系的建立，更新及查询，分页 等☆11Nov 22, 2023Updated 2 years ago
- 电商用户行为分析大数据平台☆34Nov 13, 2019Updated 6 years ago
- Cloud-Platform是国内首个基于Spring Cloud微服务化开发平台，具有统一授权、认证后台管理系统，其中包含具备用户管理、资源权限管理、网关API 管理等多个模块，支持多业务系统并行开发，可以作为后端服务的开发脚手架。代码简洁，架构清晰，适合学习和直接项目中…☆16May 20, 2019Updated 6 years ago
- 项目是 Spring Boot+vue开发的类似fir.im和蒲公英的企业 APP 分发平台，提供android app上传功能，以及ios和android二维码合并功能。用过可直接通过微信、浏览器、QQ等扫码下载app。☆15Dec 11, 2020Updated 5 years ago
- 为DataX(https://github.com/alibaba/DataX) 提供远程多语言调用（ThriftServer，HttpServer） 分布式运行（DataX on YARN） 功能☆144Jan 22, 2026Updated last month
- 流程化 机器学习框架 基于 scala java语言 ,一站式自动机器学习平台 ,主要包括数据分析 特征工程 ，机器模型，自动部署，超参数优化，模型自动优化，自动扩容分配创建功能，类似第四范式、阿里PAI平台、google autoMl、亚马逊SageMaker☆66Aug 1, 2018Updated 7 years ago
- AMS实时推荐系统☆17Nov 4, 2022Updated 3 years ago
- 🔥A SaaS platform based on Spring-Cloud including User Center（用户中心）、Authorization（认证&授权）、Notification（通知推送能力）、Gateway（网关）... Tech Include…☆42May 8, 2025Updated 10 months ago
- elasticsearch reader and writer plugin for datax☆39Aug 31, 2017Updated 8 years ago
- diboot v2.x的配套前端，基于antdv的管理后台前端基础项目☆39Jul 8, 2024Updated last year
- ClickHouse connector both for PrestoSQL and Trino☆18Mar 3, 2021Updated 5 years ago
- Java templates for OpenFaas, a serverless functions as a service platform built on Docker☆19Aug 20, 2018Updated 7 years ago
- 一个datax的简化工具，帮助您轻量级的完成datax的二次开发和同步任务☆21Sep 22, 2022Updated 3 years ago
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆18Dec 16, 2022Updated 3 years ago
- database meta crawl tool☆85Jun 28, 2020Updated 5 years ago
- datax写redis插件，支持异构数据源导入string、list、hash类型导redis☆18Sep 29, 2021Updated 4 years ago
- 元数据管理系统☆17Jan 20, 2018Updated 8 years ago
- 基于Spring Boot、Spring Cloud Alibaba的微服务开发框架☆28Dec 22, 2025Updated 2 months ago
- Spring-cloud-alibaba 微服务工程模板☆20Jan 20, 2023Updated 3 years ago
- ElasticFlow（伊塔）是一个开源弹性流数据交换系统，支持在任意类型数据端之间通过简单配置就可以建立可计算的弹性流管道，并进行定时、定量、高并发、多类型的交换数据服务。系统可应用于数据交换、通用搜索引擎、数据发布服务、数据仓库等项目。☆28Feb 26, 2025Updated last year
- 采用SpringBoot、MyBatis-Plus 、Security框架，开发的一套权限系统,实现前后端分离,完善的代码生成机制☆21May 16, 2024Updated last year