MettCat / queue-client
在公司接了一个任务,完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当,数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据,记录读取的Point,以便下次继续读取。读取的数据进入bigqueue队列,bigqueue为一个大型、快速且持久的队列实现。使用netty将出对数据实时由客户端传输到服务端。传输后获取状态,判断状态,失败则重新传输。成功传输下一条数据。保证数据的时效性及有序性。作为一个刚结束实习生活Java新手,查阅了队列,netty,以及Java多线程的知识,参考了很多大牛总结的博文。写了这个demo。还有一个服务端用于接收数据,并保存到目标数据库。此模块还有很多地方需要优化,(比如里面涉及的文件路径问…
☆12Updated 7 years ago
Alternatives and similar repositories for queue-client:
Users that are interested in queue-client are comparing it to the libraries listed below
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理; 2、跨站全文检索、数据共享; 3、微官网/手机网站同步建设; 4、高效二次开发的插件化管理 5、支持可视化模板制作;☆25Updated 8 years ago
- Java JUC 学习项目 包括各种并发多线程的高级使用。java自带多线程并发锁高级应用☆14Updated 6 years ago
- 微服务的网关,包含oauth2授权、调用次数限制和服务路由☆13Updated 8 years ago
- 日志实时监控,检索,报警☆19Updated 8 years ago
- 多租户架构实现企业进销存☆20Updated 8 years ago
- 基于spring boot + quartz + redis实现job任务调度,前端使用vue和element-ui实现页面控制台。☆13Updated 5 years ago
- 支付订单系统分表分库高并发实现☆13Updated 2 years ago
- 日志分析器,仿造elk中logstash的简单Java实现,实现监控目录日志,自动解析存入elasticsearch。☆22Updated 8 years ago
- JEECG是一款基于代码生成器的J2EE快速开发平台,开源界“小普元”超越传统商业企业级开发平台。引领新的开发模式(Online Coding模式(自定义表单) -> 代码生成器模式 -> 手工MERGE智能开发), 可以帮助解决Java项目60%的重复工作,让…☆16Updated 7 years ago
- 基于redis的分布式锁,适用于秒杀,自增ID等web分布式开发场景☆11Updated 7 years ago
- rocketmq后台管理,从阿里开源修改。换成rest风格访问,增加拦截器登录配置☆15Updated 8 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆19Updated 8 years ago
- 基于spring mvc+redis+logback+elk的日志demo☆12Updated 7 years ago
- Zdal是支付宝自主研发的数据中间件产品,采用标准的JDBC规范,可以在分布式环境下看上去像传统数据库一样提供海量数据服务,是一种通用的分库分表数据库访问框架,解决单库单表数据库访问压力,Zdal主要提供分库分表,结果集合并,sql解析,数据库failover动态切换等功能…☆17Updated 6 years ago
- micro-mall项目是一套电商系统,包括前台商城系统及后台管理系统,基于Alibaba Spring Cloud + MyBatis实现。前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。后台管理系统包含商品管…☆17Updated 2 years ago
- 基于springcloud微服务架构、分布式、高并发、高可用的电商平台,前端框架:VUE全家桶,后端技术:springcloud、redis、kafka、elk、xxljob、mybatispuls等框架技术☆23Updated 4 months ago
- 基于Kafka和MongoDB的结构化日志异步记录和预警框架☆10Updated 8 years ago
- 面向学校、学院、老师的网盘,存储个人文件资源☆16Updated 7 years ago
- 规则引擎☆21Updated 6 years ago