0xqq / ETL-1
数据基本清洗包括日期、时间、数值、字符串、字符、金钱、数据库（mysql、postgresql、mongodb、hbase、hdfsmemcached）、加解密（md5、sha、base64、aes、rsa）、文件、http服务、正则表达式等，后期会不断更新。
☆11Updated 6 years ago
Alternatives and similar repositories for ETL-1:
Users that are interested in ETL-1 are comparing it to the libraries listed below
- 基于spring boot + quartz + redis实现job任务调度，前端使用vue和element-ui实现页面控制台。☆13Updated 6 years ago
- 线程池+消息队列缓存 批量处理高并发任务☆13Updated 5 years ago
- springboot项目使用脚手架，集成redis、mysql、pg，hbase、elasticsearch、kafka等常用组件功能☆20Updated 2 years ago
- 蓝泰源大数据基础平台☆17Updated 7 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆34Updated 2 years ago
- 基于java实现的有限状态自动机，轻松，快捷，高效的关联状态的扭转☆15Updated 5 years ago
- 基于职能型组织架构的 工作流引擎服务器☆20Updated 2 weeks ago
- 分布式卡包应用：用户子系统包含 优惠券库存功能实现、用户优惠券功能实现、领取优惠券功能实现、可用优惠券功能实现、已使用优惠券功能实现、用户所有的优惠券功能实现、用户使用优惠券功能实现、评论功能实现。 技术栈:Springboot+kafka+Redis+HBase☆14Updated 6 years ago
- 数据分析快速 开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现☆23Updated 6 years ago
- 基于Kettle的MySQL数据库同步☆26Updated 6 years ago
- 用户行为分析系统☆12Updated 9 years ago
- The Best Practice of HDP，企业级大数据平台实践指南☆10Updated 7 years ago
- AMS实时推荐系统☆17Updated 2 years ago
- ETL Tools 数据抽取-转换-加载工具☆77Updated 8 years ago
- 通过图形界面为数据监控以及数据同步提高良好的服务，可支持数据同步的数据源或数据库有：SQL数据源、NoSQL数据源、数据引擎、数据仓库、消息队列；通过Canal可支持数据库监控以及数据备份。☆24Updated 4 years ago
- 大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；☆23Updated 2 years ago
- Zdal是支付宝自主研发的数据中间件产品，采用标准的JDBC规范，可以在分布式环境下看上去像传统数据库一样提供海量数据服务，是一种通用的分库分表数据库访问框架，解决单库单表数据库访问压力，Zdal主要提供分库分表，结果集合并，sql解析，数据库failover动态切换等功能…☆18Updated 6 years ago
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- 规则引擎☆21Updated 7 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 6 years ago
- Elasticsearch-Helper 是一个Java对 Elasticsearch RHLC API的封装工具，通过封装简化官方API写法，降低相关API的学习成本，减少代码编写工作，提高工作效率。☆16Updated 2 years ago
- 接口数据脱敏、加解密springboot starter☆28Updated 4 years ago
- Flink 案例开发数据清洗、数据报表☆52Updated 2 years ago
- 电商用户行为分析大数据平台☆33Updated 5 years ago
- 此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。☆62Updated last year
- 配置化数据api平台 动态配置erp运营后台☆11Updated 5 years ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 7 years ago
- SpringBoot集成neo4j实现关系网创建和查询☆10Updated 6 years ago
- 企业级五金Saas孵化电商项目-直链网☆10Updated 2 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按 行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 7 years ago