在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，bigqueue为一个大型、快速且持久的队列实现。使用netty将出对数据实时由客户端传输到服务端。传输后获取状态，判断状态，失败则重新传输。成功传输下一条数据。保证数据的时效性及有序性。作为一个刚结束实习生活Java新手，查阅了队列，netty，以及Java多线程的知识，参考了很多大牛总结的博文。写了这个demo。还有一个服务端用于接收数据，并保存到目标数据库。此模块还有很多地方需要优化，（比如里面涉及的文件路径问…
☆12Aug 10, 2017Updated 8 years ago
Alternatives and similar repositories for queue-client
Users that are interested in queue-client are comparing it to the libraries listed below
Sorting:
- 一个基于ElasticSearch的业务日志记录工具☆10Nov 5, 2018Updated 7 years ago
- 基于spring mvc+redis+logback+elk的日志demo☆12Feb 23, 2017Updated 9 years ago
- 一个大数据实时流处理日志分析系统 Demo☆30Nov 16, 2022Updated 3 years ago
- 基于redis的分布式锁，适用于秒杀，自增ID等web分布式开发场景☆11Mar 21, 2017Updated 8 years ago
- 基于springbook+spark的机器学习应用开发☆12Nov 21, 2022Updated 3 years ago
- 分布式锁和配置管理中心的实现，采用zookeeper的全局有序的特性来实现☆11May 11, 2015Updated 10 years ago
- 在规格文件上直接执行SQL，无数据库依赖，基于Java8的流计算和Lamdba表达式。☆10Jun 15, 2017Updated 8 years ago
- 阿里druid连接池剥离出来的sql解析代码☆12Jun 21, 2022Updated 3 years ago
- 在线选座的的Demo，可以直接放在包里直接用，实时画座位，根据不同的状态和座位信息对座位进行操作，更具数据具体的画座位。可以放大缩小，横向纵向滑动。当座位数发大到超出屏幕的时候，滑动的时候在左上角出现整个座位的信息以及滑动的大概情况。实施刷新。☆12Jun 22, 2016Updated 9 years ago
- Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的☆16Nov 8, 2015Updated 10 years ago
- 实时数据分析平台☆41Jun 26, 2013Updated 12 years ago
- 基于spring mvc的内部开发框架. 包括了对 spring mvc, spring security, spring session 等等开源框架的整合； 同时，设计了一套基础用户、组织机构和功能权限、数据权限体系，作为公司内部研发的基…☆26Mar 2, 2026Updated 2 weeks ago
- DataX 是异构数据广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。☆23Jan 31, 2018Updated 8 years ago
- uw-dao包是一个封装数据库操作的类库，比hibernate效率高，比mybatis更简单，并一致化管理数据库连接池。☆12Jul 12, 2025Updated 8 months ago
- sql 解析引擎 探索☆16Dec 29, 2017Updated 8 years ago
- Scalable CDC Pattern Implemented using PySpark☆18Oct 8, 2025Updated 5 months ago
- 监控维度：1.监控内容信息采集；2.监控对象Url，Spring，数据源，异常，jvm，服务信息；3.监控策略处理☆12Nov 2, 2018Updated 7 years ago
- Spring,SpringMVC,Mybatis,CRUD☆10Mar 2, 2017Updated 9 years ago
- 通过全国实时天气数据，高德地图数据，景点数据，采用大数据技术实时智能推荐旅游景点、规划旅游路线。包括湿度、风力、气温、天气状况等等☆10Jun 8, 2021Updated 4 years ago
- RPC框架，基于netty，实现了远程调用、服务治理等功能☆16May 19, 2018Updated 7 years ago
- 简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本☆48Dec 23, 2016Updated 9 years ago
- 分布式雪花算法全局生成器的SDK,DistributedID的SDK方式接入☆22Jan 21, 2017Updated 9 years ago
- 企业级通用报表系统☆15Feb 2, 2024Updated 2 years ago
- SpringBoot项目。 主要是Netty与RabbitMq，包含服务与客户端，编码与解码器；定义了两个线程池一个用于netty，一个用于异步写日志。使用了自定义注解获取相应的handler。同时包含mysql、mongo、redis☆17Jan 28, 2019Updated 7 years ago
- Flink Hadoop Compatibility + Elasticsearch for Apache Hadoop = Flink Connector Elasticsearch Source Table。结合flink+hadoop+es 实现的es table s…☆19Jun 28, 2021Updated 4 years ago
- Zdal是支付宝自主研发的数据中间件产品，采用标准的JDBC规范，可以在分布式环境下看上去像传统数据库一样提供海量数据服务，是一种通用的分库分表数据库访问框架，解决单库单表数据库访问压力，Zdal主要提供分库分表，结果集合并，sql解析，数据库failover动态切换等功能…☆18Dec 17, 2018Updated 7 years ago
- 高性能大数据实时同步:kafka连接器(kafka-connect-kudu-sink插件)、海量日志流处理☆19Jun 17, 2022Updated 3 years ago
- ☆10Mar 6, 2016Updated 10 years ago
- 日志实时监控，检索，报警☆19Apr 26, 2016Updated 9 years ago
- Golang对接宝付、通联、富友金账户等支付平台☆13Mar 29, 2023Updated 2 years ago
- 基于TBSchedule开发的一个分布式任务调度框架，可以解析任务间的依赖，并执行任务（执行Shell、bat脚本）☆12Aug 5, 2016Updated 9 years ago
- sparkStreaming项目，1.日志分析系统 2. 舆情管控系统之实时词频统计处理子系统（包括中文分词服务器）3. 网站用户行为统计系统（ 只统计用户行为，建模预测后期实现） 4. 网站安全实时监控报警系统。☆14Jul 1, 2022Updated 3 years ago
- 一款基于Java注解的elasticsearch mapping生成工具，支持ES 5.2.0所有可选参数☆21Jul 8, 2017Updated 8 years ago
- The plugins for mybatis, in order to provider the ability to handler jpa.☆43Apr 22, 2021Updated 4 years ago
- ☆15Jul 7, 2011Updated 14 years ago
- Fast HTTP protocol with separate netty+disruptor based server☆41Apr 29, 2012Updated 13 years ago
- SparkStreaming中利用MySQL保存Kafka偏移量保证0数据丢失☆44Aug 2, 2017Updated 8 years ago
- ☆11Jun 29, 2017Updated 8 years ago
- Programming in Hadoop and Spark☆13Jul 27, 2018Updated 7 years ago