MettCat / queue-clientLinks
在公司接了一个任务,完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当,数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据,记录读取的Point,以便下次继续读取。读取的数据进入bigqueue队列,bigqueue为一个大型、快速且持久的队列实现。使用netty将出对数据实时由客户端传输到服务端。传输后获取状态,判断状态,失败则重新传输。成功传输下一条数据。保证数据的时效性及有序性。作为一个刚结束实习生活Java新手,查阅了队列,netty,以及Java多线程的知识,参考了很多大牛总结的博文。写了这个demo。还有一个服务端用于接收数据,并保存到目标数据库。此模块还有很多地方需要优化,(比如里面涉及的文件路径问…
☆12Updated 7 years ago
Alternatives and similar repositories for queue-client
Users that are interested in queue-client are comparing it to the libraries listed below
Sorting:
- 微服务的网关,包含oauth2授权、调用次数限制和服务路由☆13Updated 8 years ago
- 日志实时监控,检索,报警☆20Updated 9 years ago
- Java JUC 学习项目 包括各种并发多线程的高级使用。java自带多线程并发锁高级应用☆15Updated 7 years ago
- 业务风控系统☆11Updated 8 years ago
- 日志分析器,仿造elk中logstash的简单Java实现,实现监控目录日志,自动解析存入elasticsearch。☆22Updated 9 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理; 2、跨站全文检索、数据共享; 3、微官网/手机网站同步建设; 4、高效二次开发的插件化管理 5、支持可视化模板制作;☆26Updated 8 years ago
- 多租户架构实现企业进销存☆20Updated 9 years ago
- 基于spring boot + quartz + redis实现job任务调度,前端使用vue和element-ui实现页面控制台。☆13Updated 6 years ago
- SpringBoot 整合 常用框架,druid、mybatis、jpa、dubbo、redis、web等及使用示例,常用工具类等☆14Updated last year
- 支付订单系统分表分库高并发实现☆13Updated 3 years ago
- 基于ActiveMQ的数据交换中间件☆14Updated 10 years ago
- 使用 Canal 中间件同步 Mysql 和 Redis,以及责任链模式的应用☆18Updated 6 years ago
- Zdal是支付宝自主研发的数据中间件产品,采用标准的JDBC规范,可以在分布式环境下看上去像传统数据库一样提供海量数据服务,是一种通用的分库分表数据库访问框架,解决单库单表数据库访问压力,Zdal主要提供分库分表,结果集合并,sql解析,数据库failover动态切换等功能…☆18Updated 6 years ago
- 用于数据迁移、缓存预热,springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 8 years ago
- 基于spring boot构建的微服务,服务之间调用日志跟踪,基于spring boot的配置日志输出模式,spring-cloud-starter-feign'的扩展日志输出,请求事件的解析和服务调用轨迹追踪☆22Updated 8 years ago
- 基于Kafka和MongoDB的结构化日志异步记录和预警框架☆10Updated 8 years ago
- 基于Redis实现消息的定时推送☆11Updated 10 months ago
- jvm堆内存结构、垃圾回收原理、jvm内存调优、jvm监控等☆17Updated 6 years ago
- 使用kafka实现log4j日志集中管理☆14Updated 4 years ago
- 个人学习xxl-job源码 核心部分加上了中文注释☆16Updated 6 years ago
- 大数据生态圈学习☆18Updated 2 years ago
- Spring项目集成了消息队列-RabbitMQ,实现了普通消息订阅-发布模式的消息队列、延迟消息队列、定时发送消息等☆20Updated 7 years ago
- 包括Session集中存储、安全授权、缓存、异常处理机制、动态数据源、Service层单元测试☆11Updated 8 years ago
- 一个集成型框架,包含Redis缓存的自动同步模块,业务规则模块,分库分表模块,及事务、ZK统一配置的支持。☆17Updated 9 years ago
- 🍰springboot2.1.4、mybatis、bootstrap、代码生成器、shiro权限管理、前后端分离、自用型java通用后台管理系统快速开发框架 集成通用controller 通用mapper 通用service、脚手架、起手式,让web后台开发变得简单~!!☆24Updated 2 years ago
- Data develop engine 数据研发引擎,用可视化的组件编排后台数据处理逻辑,配合消息触发、定时任务和restful接口等多种调度机制,从而能够代替传统的大部分后台接口研发。☆32Updated this week
- 此微服务包括分布式认证中心(jwt+redis),Eureka 集群,客户端负载均衡 turbin微服务监控。Hystrix服务熔断机制 请求限流。以及数据同步DATAX (https://github.com/alibaba/DataX),☆25Updated 7 years ago
- SpringBoot项目。 主要是Netty与RabbitMq,包含服务与客户端,编码与解码器;定 义了两个线程池一个用于netty,一个用于异步写日志。使用了自定义注解获取相应的handler。同时包含mysql、mongo、redis☆16Updated 6 years ago
- Athena是一款简单易用,面向架构和发布流程优化,并且具有丰富使用文档的Restful服务框架。架构上,它与Spring Web MVC无缝集成,使业务项目没有任何框架代码的侵入,并且能够与CI一键发布流程完美结合。它提供了新项目生成工具,可以一键生成新业务项目的骨架,生…☆18Updated 9 years ago
- 基于spring mvc+redis+logback+elk的日志demo☆12Updated 8 years ago