MettCat / queue-clientLinks
在公司接了一个任务,完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当,数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据,记录读取的Point,以便下次继续读取。读取的数据进入bigqueue队列,bigqueue为一个大型、快速且持久的队列实现。使用netty将出对数据实时由客户端传输到服务端。传输后获取状态,判断状态,失败则重新传输。成功传输下一条数据。保证数据的时效性及有序性。作为一个刚结束实习生活Java新手,查阅了队列,netty,以及Java多线程的知识,参考了很多大牛总结的博文。写了这个demo。还有一个服务端用于接收数据,并保存到目标数据库。此模块还有很多地方需要优化,(比如里面涉及的文件路径问…
☆12Updated 8 years ago
Alternatives and similar repositories for queue-client
Users that are interested in queue-client are comparing it to the libraries listed below
Sorting:
- 用于数据迁移、缓存预热,springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 8 years ago
- java spring redies:订阅/发布系统;统一配置管理;lua脚本实现分布式锁;缓存应用(连接池,切片连接池,哨兵模式)☆29Updated 2 years ago
- 日志分析器,仿造elk中logstash的简单Java实现,实现监控目录日志,自动解析存入elasticsearch。☆22Updated 9 years ago
- Java JUC 学习项目 包括各种并发多线程的高级使用。java自带多线程并发锁高级应用☆15Updated 7 years ago
- 业务风控系统☆12Updated 9 years ago
- 线程池、任务、任务组、任务池,定时任务的类库☆23Updated 2 weeks ago
- 微服务的网关,包含oauth2授权、调用次数限制和服务路由☆13Updated 8 years ago
- 基于spring boot构建的微服务,服务之间调用日志跟踪,基于spring boot的配置日志输出模式,spring-cloud-starter-feign'的扩展日志输出,请求事件的解析和服务调用轨迹追踪☆22Updated 8 years ago
- 基于redis的分布式锁,适用于秒杀,自增ID等web分布式开发场景☆11Updated 8 years ago
- Strom 实时风控统计☆21Updated 7 years ago
- 基于spring boot + quartz + redis实现job任务调度,前端使用vue和element-ui实现页面控制台。☆13Updated 6 years ago
- 支付订单系统分表分库高并发实现☆13Updated 3 years ago
- NB-IoT智能水表上报数据读取系统,传输层为UDP,利用NIO实现数据读取。(后通过电信平台上报,此程序保留。)☆11Updated 6 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理; 2、跨站全文检索、数据共享; 3、微官网/手机网站同步建设; 4、高效二次开发的插件化管理 5、支持可视化模板制作;☆26Updated 8 years ago
- 【基于注解和反射】Excel的简单、大数据量、基于模板、多sheet页的导入导出☆12Updated 6 years ago
- 线程池+消息队列缓存 批量处理高并发任务☆13Updated 6 years ago
- 日志实时监控,检索,报警☆20Updated 9 years ago
- 基于云计算Iaas平台的企业级云计算,一站式解决方案,http://www.springcloud.cn☆28Updated 9 years ago
- 基于SpringBoot+SpringCloud+Mybatis+Docker分布式敏捷开发系统架构,提供整套公共微服务服务模块:内容管理、支付中心、用户管理(包括第三方)、微信平台、存储系统、配置中心、日志分析、任务和通知等,支持服务治理、监控和追踪,努力为中小型企业打造…☆76Updated 7 years ago
- Utmost是一款基于Java的面向业务配置平台,能够迅速搭建企业级应用,集成了业界优秀的开源框架,内置任务调度,多维权限管理,规则引擎,工作流引擎,系统监控,ETL,报表,打印等企业常用组件.拥有一流的用户体验和丰富的界面展现.☆25Updated 8 years ago
- 大型分布式系统实时监控平台☆28Updated 2 years ago
- 此微服务包括分布式认证中心(jwt+redis),Eureka 集群,客户端负载均衡 turbin微服务监控。Hystrix服务熔断机制 请求限流。以及数据同步DATAX (https://github.com/alibaba/DataX),☆25Updated 7 years ago
- web项目快速构建平台,由Java开发实现,无需编写 代码,根据页面及组件等配置既能快速构建一个web项目☆29Updated 7 years ago
- 基于spring mvc+redis+logback+elk的日志demo☆12Updated 8 years ago
- rocketmq后台管理,从阿里开源修改。换成rest风格访问,增加拦截器登录配置☆15Updated 9 years ago
- 百万级高性能分布式发布订阅系统,基于nio,netty开发,无锁并发,充分发挥cpu极限, 该项目已自带心跳检测功能,断线自动重连,非常稳定。 注意该项目软件编码为GBK,导入的时候一定要看清项目编码格式。☆73Updated 6 years ago
- 包括Session集中存储、安全授权、缓存、异常处理机制、动态数据源、Service层单元测试☆11Updated 8 years ago
- 基于ActiveMQ的数据交换中间件☆14Updated 11 years ago
- 基于Kafka和MongoDB的结构化日志异步记录和预警框架☆10Updated 9 years ago
- 在mysql-binlog-connector-java基础上参考 keking-binlog-distributor,提供了监听mysql数据库二进制日志并进行分发的功能☆15Updated 3 years ago