yinchuandong / DistributedCrawlerLinks
java分布式爬虫,主机和从机控制的机制
☆14Updated 10 years ago
Alternatives and similar repositories for DistributedCrawler
Users that are interested in DistributedCrawler are comparing it to the libraries listed below
Sorting:
- 基于JAVA NIO 的轻量级消息传输框架。主要功能包括:文本消息传输、二进制文件传输、文本及二进制混合传输、消息的自定义实现加密传输算法、同步或异步传输、客户端、服务端框架内置心跳监听、服务端认证、支持网络断线客户端自动重连。☆44Updated 8 years ago
- rocketmq后台管理,从阿里开源修改。换成rest风格访问,增加拦截器登录配置☆15Updated 9 years ago
- ZkConfig是为zookeeper开发的配置服务工具包,能与现有的Java系统进行良好的集成,也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…☆25Updated 10 years ago
- rpc_learn Spring + Netty + Protostuff + ZooKeeper 实现了一个轻量级 RPC 框架,使用 Spring 提供依赖注入与参数配置,使用 Netty 实现 NIO 方式的数据传输,使用 Protostuff 实现对象序列化,使用 …☆19Updated 10 years ago
- 爬虫项目源码整理,使用redis进行url缓存,hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- JBFS 是基于facebook haystack 开发的一套分布式海量小文件存储系统☆18Updated 9 years ago
- maat是一个分布式事务中间件,实现了基于可靠消息的最终一致性事务控制.其可靠消息服务通过独立消息服务方案实现,与业务系统耦合低,目前支持的MQ有RocketMQ☆12Updated 6 years ago
- 松美即时聊天消息服务器(SongmIM message server)☆16Updated 6 years ago
- Pudding 是一款迷你级分布式服务框架☆24Updated 8 years ago
- 支付订单系统分表分库高并发实现☆13Updated 3 years ago
- rank是一个seo工具,用于分析网站的搜索引擎收录排名。☆67Updated 8 years ago
- zookeeper官方提供的分布式锁,选举master,和分布式队列实现☆17Updated 11 years ago
- 大规模分布式系统的跟踪、监控、告警平台☆55Updated 11 years ago
- 微博数据 分析服务框架。☆12Updated 9 years ago
- 基于Kafka和MongoDB的结构化日志异步记录和预警框架☆10Updated 8 years ago
- 分布式MySQL数据库中间件,支持数据的水平、垂直拆分,支持分库分表,支持读写分离,支持结果集合并,支持故障自动切换。☆26Updated 9 years ago
- 一个基于ElasticSearch的业务日志记录工具☆10Updated 6 years ago
- 这是一个统一管理系统权限,设计的目标是给开发者一个完整地权限管理系统,以便你能更专注自己系统业务的开发☆36Updated 9 years ago
- DistributeCrawler的Maven版☆10Updated 3 years ago
- 个性化推荐算法的通用处理框架,基于Mahout和Lucene☆18Updated 10 years ago
- 华南理工大学高英实验室进行的分布式爬虫项目,除了实验室内部人员外,不得私自传播.☆21Updated 11 years ago
- 基于mqtt实现的即时通讯IM服务☆41Updated 8 years ago
- 日志实时监控,检索,报警☆20Updated 9 years ago
- 使用一致性哈希consistent-hashing来实现分布式redis,基于spring使用的缓存工具☆14Updated 8 years ago
- 业务风控系统☆11Updated 9 years ago
- 基于canal的mysql slave实现☆12Updated 12 years ago
- 规则引擎测试☆10Updated 11 years ago
- dubbo服务间的分布式事物☆11Updated 10 years ago
- spider使用java语言开发,使用Spring作为IoC容器, 采用TCP/IP协议,在此基础上,结合SaaS金融交易系统的特性进行针对性和重点设计,以更加灵活和高效的满足金融交易系统多租户、高可用、分布式部署的要求。 spider默认采用JSON作为序列化机制,后续版本…☆10Updated 6 years ago
- 网络爬虫☆51Updated 11 years ago