jinshuai86 / SpiderLinks
基于Java的多线程爬虫框架
☆11Updated last year
Alternatives and similar repositories for Spider
Users that are interested in Spider are comparing it to the libraries listed below
Sorting:
- 用于数据迁移、缓存预热，springboot架构。支持数据区间分割、动态调整线程池配置、任务进度实时查看等特性☆45Updated 8 years ago
- 规则引擎☆21Updated 7 years ago
- 由java构建的轻量级消息队列，支持订阅和点对点模式☆33Updated 6 years ago
- mybatis3在spring中的分库分表☆26Updated 8 years ago
- java spring redies：订阅/发布系统；统一配置管理；lua脚本实现分布式锁；缓存应用（连接池，切片连接池，哨兵模式）☆29Updated 2 years ago
- 基于Kafka和MongoDB的结构化日志异步记录和预警框架☆10Updated 9 years ago
- Java JUC 学习项目 包括各种并发多线程的高级使用。java自带多线程并发锁高级应用☆15Updated 7 years ago
- 基于队列的任务调度及分发中间件，based on RocketMQ☆16Updated 2 years ago
- 基于Disruptor的异步并行框架☆21Updated 10 years ago
- rocketmq后台管理，从阿里开源修改。换成rest风格访问，增加拦截器登录配置☆15Updated 9 years ago
- logging-aspect 项目中日志收集实现AOP 和 Listener两种全局实现☆10Updated 7 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 8 years ago
- java快速上手的网络IO框架，基于netty， google protobuf 数据传输协议，disruptor队列，zookeeper服务注册发现，支持心跳检测，断线重连，tcp连接池，注解分发消息。用于服务器间长连接通讯，可搭建分布式服务器以及分布式游戏。☆20Updated 3 years ago
- 分布式MySQL数据库中间件，支持数据的水平、垂直拆分，支持分库分表，支持读写分离，支持结果集合并，支持故障自动切换。☆26Updated 10 years ago
- 基于Redis实现消息的定时推送☆11Updated last year
- 支付订单系统分表分库高并发实现☆13Updated 3 years ago
- 大型分布式系统实时监控平台☆28Updated 2 years ago
- 2016年阿里中间件性能挑战赛初赛题，RocketMQ+JStorm+Tair实时统计双11交易金额☆43Updated 7 years ago
- 基于spring boot + quartz + redis实现job任务调度，前端使用vue和element-ui实现页面控制台。☆13Updated 6 years ago
- 抛弃tomcat, 拥抱vert.x☆16Updated last week
- 个人学习xxl-job源码 核心部分加上了中文注释☆16Updated 7 years ago
- 使用一致性哈希consistent-hashing来实现分布式redis,基于spring使用的缓存工具☆14Updated 8 years ago
- ☆43Updated 2 years ago
- Pudding 是一款迷你级分布式服务框架☆24Updated 8 years ago
- Strom 实时风控统计☆21Updated 7 years ago
- ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成， 也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…☆25Updated 10 years ago
- Swagger 是一款RESTFUL接口的文档在线自动生成+功能测试功能软件。本文简单介绍了在项目中集成swagger的方法和一些常见问题。如果想深入分析项目源码，了解更多内容，见参考资料。 Swagger 是一个规范和完整的框架，用于生成、描述、调用和可视化 RESTfu…☆16Updated 8 years ago
- 手把手教你设计并实现一个基于Redis的分布式锁☆72Updated 6 years ago
- 基于Spring cloud、dubbo、oauth2的微服务应用☆16Updated 7 years ago
- 使用SpringBoot开发的云舒短视频微信小程序(服务端) 分布式Session，模块化开发，容器化部署☆11Updated 5 years ago