jinshuai86 / SpiderLinks
基于Java的多线程爬虫框架
☆11Updated last year
Alternatives and similar repositories for Spider
Users that are interested in Spider are comparing it to the libraries listed below
Sorting:
- 用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 8 years ago
- 由java构建的轻量级消息队列，支持订阅和点对点模式☆33Updated 6 years ago
- 规则引擎☆21Updated 7 years ago
- java spring redies：订阅/发布系统；统一配置管理；lua脚本实现分布式锁；缓存应用（连接池，切片连接池，哨兵模式）☆28Updated 2 years ago
- 基于Disruptor的异步并行框架☆21Updated 10 years ago
- 支付订单系统分表分库高并发实现☆13Updated 3 years ago
- 百万级高性能分布式发布订阅系统，基于nio,netty开发，无锁并发，充分发挥cpu极限, 该项目已自带心跳检测功能，断线自动重连，非常稳定。 注意该项目软件编码为GBK，导入的时候一定要看清项目编码格式。☆73Updated 6 years ago
- 自定义注解，包括了自定义校验注解、自定义缓存注解、自定义权限校验注解示例代码☆14Updated 3 years ago
- mybatis3在spring中的分库分表☆26Updated 8 years ago
- rabbitmq消息队列封装☆12Updated 8 years ago
- 慕课网广告系统设计微服务☆32Updated 3 years ago
- 基于Redis实现消息的定时推送☆11Updated 10 months ago
- Java JUC 学习项目 包括各种并发多线程的高级使用。java自带多线程并发锁高级应用☆15Updated 7 years ago
- Java应用性能监控系统，使用JMX实现，实现了类加载监控、内存监控、线程监控、GC监控☆75Updated 5 years ago
- 基于SpringBoot2.x、SpringCloud和SpringCloudAlibaba并采用前后端分离的企业级微服务多租户系统架构。并引入组件化的思想实现高内聚低耦合并且高度可配置化，适合学习和企业中使用。真正实现了基于RBAC、jwt和oauth2的无状态统一权限认…☆15Updated 3 years ago
- 线程池、任务、任务组、任务池，定时任务的类库☆23Updated 6 months ago
- java快速上手的网络IO框架，基于netty， google protobuf 数据传输协议，disruptor队列，zookeeper服务注册发现，支持心跳检测，断线重连，tcp连接池，注解分发消息。用于服务器间长连接通讯，可搭建分布式服务器以及分布式游戏。☆20Updated 2 years ago
- 基于Kafka和MongoDB的结构化日志异步记录和预警框架☆10Updated 8 years ago
- rocketmq后台管理，从阿里开源修改。换成rest风格访问，增加拦截器登录配置☆15Updated 9 years ago
- 基于redis的分布式锁，适用于秒杀，自增ID等web分布式开发场景☆11Updated 8 years ago
- Strom 实时风控统计☆21Updated 7 years ago
- 基于netty实现的轻量级消息中间件mini-mq，致力于解决分布式事务问题，支持可靠性消息，并具备较强的扩展性和较完善的监控系统。☆20Updated 2 years ago
- 2016年阿里中间件性能挑战赛初赛题，RocketMQ+JStorm+Tair实时统计双11交易金额☆43Updated 6 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文 件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 7 years ago
- 基于队列的任务调度及分发中间件，based on RocketMQ☆16Updated 2 years ago
- Utmost是一款基于Java的面向业务配置平台,能够迅速搭建企业级应用,集成了业界优秀的开源框架,内置任务调度,多维权限管理,规则引擎,工作流引擎,系统监控,ETL,报表,打印等企业常用组件.拥有一流的用户体验和丰富的界面展现.☆25Updated 8 years ago
- 分布式MySQL数据库中间件，支持数据的水平、垂直拆分，支持分库分表，支持读写分离，支持结果集合并，支持故障自动切 换。☆26Updated 9 years ago
- 模拟电商下单->订单处理->订单结果通知的完整流程，基于RocketMQ进行实现☆62Updated 2 years ago
- disruptor-learn☆14Updated 6 years ago
- 高效的分布式id生成器，每个客户端实例tps可达到100万，服务端毫无压力。即使服务端宕机了，id生成依然可用。支持多数据中心，支持id加密。☆47Updated 6 years ago