tbs005 / DataXLinks
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
☆23Updated 4 years ago
Alternatives and similar repositories for DataX
Users that are interested in DataX are comparing it to the libraries listed below
Sorting:
- SpringBoot操作Elasticsearch的实战案例，elasticsearch 2.4.5/5.6.1☆35Updated 5 years ago
- 规则引擎☆22Updated 7 years ago
- 数据可视化, 数据挖掘, 数据处理 ETL分析☆172Updated 4 months ago
- 用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 8 years ago
- 基于java实现的脚本(shell/cmd)部署工具，主要用于为部署人员提供简化、统一的配置项，分产品、环境、模块进行自动部署。☆36Updated 3 years ago
- 实时风控系统，基于spark-streaming、drools、kafka、redis☆55Updated 7 years ago
- poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台☆56Updated 7 years ago
- 个人学习xxl-job源码 核心部分 加上了中文注释☆16Updated 7 years ago
- 分布式大数据SQL查询可视化界面！☆68Updated 10 years ago
- 2016年阿里中间件性能挑战赛初赛题，RocketMQ+JStorm+Tair实时统计双11交易金额☆43Updated 7 years ago
- 数据的导出（支持DB2、MySQL、Oracle、Teradata数据库的数据导出）、合并（支持将多个小数据文件合并成一个大的数据文件）、传输（支持FTP、SFTP数据传输）程序，适用于向指定FTP服务器供数的情况，常见于多个源系统以数据文件的形式向数据仓库集中供数。该程序…☆23Updated 10 years ago
- 高并发下本地锁+分布式锁☆62Updated 7 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 7 years ago
- 高效的分布式id生成器，每个客户端实例tps可达到100万，服务端毫无压力。即使服务端宕机了，id生成依然可用。支持多数据中心，支持id加密。☆48Updated 6 years ago
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Updated 9 years ago
- 在mysql-binlog-connector-java基础上参考 keking-binlog-distributor，提供了监听mysql数据库二进制日志并进行分发的功能☆15Updated 3 years ago
- cglib轻量化mvc框架(ioc+aop+mvc+orm+切面级事物)☆28Updated 7 years ago
- springboot项目使用脚手架，集成redis、mysql、pg，hbase、elasticsearch、kafka等常用组件功能☆20Updated 3 years ago
- ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…☆25Updated 10 years ago
- 分布式事务-最终一致性消息队列服务☆28Updated 8 years ago
- 一个通用的开源工具集，集Web、Restful服务、分布式服务、分布式数据库、分布式事务、大数据、数据分析、云计算、人工智能、深度学习、机器学习、算法等为一体的通用开源解决方案，持续更新中。。。☆79Updated 3 years ago
- MQ高级封装 轻易可拓展的 “微服务端”☆18Updated 8 years ago
- 移动用户行为统计系统，服务器端的数据采集分析，参考开源的cobub razor的设计☆36Updated 8 years ago
- 大型分布式系统实时监控平台☆29Updated 3 years ago
- 1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置…☆16Updated 3 years ago
- Fitting是一个面向大数据的统一的开发框架，由大快搜索主导并完全开源，克服了大数据技术开发涉及技术面广,各组件间缺乏统一规范等问题，能有效降低大数据的学习难度，并提高大数据项目的开发效率并可与开源项目混用。 Fitting遵循Apache2.0开源协议，采用类黑箱框架模…☆182Updated 3 years ago
- zookeeper的笔记以及教程☆14Updated 7 years ago
- 采用Reactor模式，注册readycreate, readyfinish事件到更新服务UpdateService，通过处理后进行模型缓存，然后将消息转化为 dispatchThread消息分配模型需要的create, update, finish的事件进行单线程循环调度…☆32Updated 8 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 10 years ago
- 常用大数据工具学习实战，包含Hadoop、HBase、Kafka、ClickHouse、Hive、Redis、Zookeeper...☆23Updated 3 years ago