在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，bigqueue为一个大型、快速且持久的队列实现。使用netty将出对数据实时由客户端传输到服务端。传输后获取状态，判断状态，失败则重新传输。成功传输下一条数据。保证数据的时效性及有序性。作为一个刚结束实习生活Java新手，查阅了队列，netty，以及Java多线程的知识，参考了很多大牛总结的博文。写了这个demo。还有一个服务端用于接收数据，并保存到目标数据库。此模块还有很多地方需要优化，（比如里面涉及的文件路径问…
☆12Aug 10, 2017Updated 8 years ago
Alternatives and similar repositories for queue-client
Users that are interested in queue-client are comparing it to the libraries listed below
Sorting:
- 一个基于ElasticSearch的业务日志记录工具☆10Nov 5, 2018Updated 7 years ago
- 在规格文件上直接执行SQL，无数据库依赖，基于Java8的流计算和Lamdba表达式。☆10Jun 15, 2017Updated 8 years ago
- 基于springbook+spark的机器学习应用开发☆12Nov 21, 2022Updated 3 years ago
- uw-dao包是一个封装数据库操作的类库，比hibernate效率高，比mybatis更简单，并一致化管理数据库连接池。☆12Jul 12, 2025Updated 7 months ago
- 阿里druid连接池剥离出来的sql解析代码☆12Jun 21, 2022Updated 3 years ago
- 基于redis的分布式锁，适用于秒杀，自增ID等web分布式开发场景☆11Mar 21, 2017Updated 8 years ago
- 分布式锁和配置管理中心的实现，采用zookeeper的全局有序的特性来实现☆11May 11, 2015Updated 10 years ago
- 基于spring mvc+redis+logback+elk的日志demo☆12Feb 23, 2017Updated 9 years ago
- Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的☆16Nov 8, 2015Updated 10 years ago
- 企业级通用报表系统☆15Feb 2, 2024Updated 2 years ago
- 一个大数据实时流处理日志分析系统 Demo☆30Nov 16, 2022Updated 3 years ago
- sql 解析引擎 探索☆16Dec 29, 2017Updated 8 years ago
- 监控维度：1.监控内容信息采集；2.监控对象Url，Spring，数据源，异常，jvm，服务信息；3.监控策略处理☆12Nov 2, 2018Updated 7 years ago
- SpringBoot项目。 主要是Netty与RabbitMq，包含服务与客户端，编码与解码器；定义了两个线程池一个用于netty，一个用于异步写日志。使用了自定义注解获取相应的handler。同时包含mysql、mongo、redis☆17Jan 28, 2019Updated 7 years ago
- Zdal是支付宝自主研发的数据中间件产品，采用标准的JDBC规范，可以在分布式环境下看上去像传统数据库一样提供海量数据服务，是一种通用的分库分表数据库访问框架，解决单库单表数据库访问压力，Zdal主要提供分库分表，结果集合并，sql解析，数据库failover动态切换等功能…☆18Dec 17, 2018Updated 7 years ago
- 分布式雪花算法全局生成器的SDK,DistributedID的SDK方式接入☆22Jan 21, 2017Updated 9 years ago
- 日志实时监控，检索，报警☆19Apr 26, 2016Updated 9 years ago
- 使用 mybatis Interceptor 的一个数据权限工具包☆21May 9, 2019Updated 6 years ago
- 线程池、任务、任务组、任务池，定时任务的类库☆22Updated this week
- 一款基于Java注解的elasticsearch mapping生成工具，支持ES 5.2.0所有可选参数☆21Jul 8, 2017Updated 8 years ago
- RPC框架，基于netty，实现了远程调用、服务治理等功能☆16May 19, 2018Updated 7 years ago
- Strom 实时风控统计☆21Nov 30, 2017Updated 8 years ago
- 实时数据分析平台☆41Jun 26, 2013Updated 12 years ago
- 一个基于nginx日志的web接口实时监控系统原型☆19Apr 17, 2023Updated 2 years ago
- 面向学校、学院、老师的网盘,存储个人文件资源☆17Jan 4, 2018Updated 8 years ago
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Dec 23, 2016Updated 9 years ago
- DataX 是异构数据广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。☆22Jan 31, 2018Updated 8 years ago
- 🔒spring data redis 封装工具类包含分布式锁(distributedLock)、分布式唯一键(distributedId)☆52Feb 10, 2025Updated last year
- DRDCDeviceMonitor Flink+Kafka+redis+rabbitmq实现的实时智能运维系统。☆27Aug 30, 2018Updated 7 years ago
- Fast HTTP protocol with separate netty+disruptor based server☆41Apr 29, 2012Updated 13 years ago
- 基于spring mvc的内部开发框架. 包括了对 spring mvc, spring security, spring session 等等开源框架的整合； 同时，设计了一套基础用户、组织机构和功能权限、数据权限体系，作为公司内部研发的基…☆26Jan 26, 2026Updated last month
- a demo project using commons-pools and commons-net to interact with ftp server☆24Dec 20, 2025Updated 2 months ago
- 集防重复提交和接口限流功能于一体的一个spring boot的starter，开箱即用，简单方便，如果觉得好请给个Star 谢谢☆25Mar 31, 2021Updated 4 years ago
- spring-boot+drools7+mybatis实现数据库加载规则文件☆28Jul 28, 2017Updated 8 years ago
- 实时分析nginx日志，计算接口访问次数，uv，时延，异常IP等指标☆29Apr 14, 2017Updated 8 years ago
- 此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。☆64Dec 5, 2023Updated 2 years ago
- 封装了一个简易的hbase-orm框架☆26Dec 18, 2017Updated 8 years ago
- 这是一个为了解决大量重复性代码开发的工具，利用自定义的注解和反射生成elasticsearch需要的语句，语句的具体生成是采用elasticSearch的Java api☆28Sep 8, 2016Updated 9 years ago
- 使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装☆33May 6, 2017Updated 8 years ago