yinchuandong / DistributedCrawlerLinks
java分布式爬虫，主机和从机控制的机制
☆14Updated 10 years ago
Alternatives and similar repositories for DistributedCrawler
Users that are interested in DistributedCrawler are comparing it to the libraries listed below
Sorting:
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- rocketmq后台管理，从阿里开源修改。换成rest风格访问，增加拦截器登录配置☆15Updated 9 years ago
- 规则引擎的使用:excel决策表、drl决策文件 spring3.2+drools5.6 spring4.1+drools5.6 测试通过☆29Updated 10 years ago
- 基于Kafka和MongoDB的结构化日志异步记录和预警框架☆10Updated 8 years ago
- 支付订单系统分表分库高并发实现☆13Updated 3 years ago
- 松美即时聊天消息服务器（SongmIM message server）☆16Updated 6 years ago
- maat是一个分布式事务中间件,实现了基于可靠消息的最终一致性事务控制.其可靠消息服务通过独立消息服务方案实现,与业务系统耦合低,目前支持的MQ有RocketMQ☆12Updated 6 years ago
- 我经常用到的一些小工具类：类型验证、转换，http，oauth，job，redis queue，jsonrpc等☆13Updated 8 years ago
- JBFS 是基于facebook haystack 开发的一套分布式海量小文件存储系统☆18Updated 9 years ago
- 使用一致性哈希consistent-hashing来实现分布式redis,基于spring使用的缓存工具☆14Updated 8 years ago
- ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进 行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…☆24Updated 10 years ago
- Pudding 是一款迷你级分布式服务框架☆24Updated 8 years ago
- 基于akka实现的直播间类平台☆9Updated 8 years ago
- 分布式MySQL数据库中间件，支持数据的水平、垂直拆分，支持分库分表，支持读写分离，支持结果集合并，支持故障自动切换。☆26Updated 9 years ago
- 一个基于ElasticSearch的业务日志记录工具☆10Updated 6 years ago
- rpc_learn Spring + Netty + Protostuff + ZooKeeper 实现了一个轻量级 RPC 框架，使用 Spring 提供依赖注入与参数配置，使用 Netty 实现 NIO 方式的数据传输，使用 Protostuff 实现对象序列化，使用 …☆19Updated 10 years ago
- 保障服务的持续高可用、高性能及负载均衡☆17Updated 8 years ago
- 网络游戏服务器通信框架☆14Updated 5 years ago
- spider使用java语言开发，使用Spring作为IoC容器，采用TCP/IP协议，在此基础上，结合SaaS金融交易系统的特性进行针对性和重点设计，以更加灵活和高效的满足金融交易系统多租户、高可用、分布式部署的要求。 spider默认采用JSON作为序列化机制，后续版本…☆10Updated 6 years ago
- 大规模分布式系统的跟踪、监控、告警平台☆55Updated 11 years ago
- 基于JAVA NIO 的轻量级消息传输框架。主要功能包括：文本消息传输、二进制文件传输、文本及二进制混合传输、消息的自定义实现加密传输算法、同步或异步传输、客户端、服务端框架内置心跳监听、服务端认证、支持网络断线客户端自动重连。☆44Updated 8 years ago
- 这是一个统一管理系统权限，设计的目标是给开发者一个完整地权限管理系统，以便你能更专注自己系统业务的开发☆36Updated 9 years ago
- DistributeCrawler的Maven版☆10Updated 3 years ago
- 日志实时监控，检索，报警☆20Updated 9 years ago
- Athena是一款简单易用，面向架构和发布流程优化，并且具有丰富使用文档的Restful服务框架。架构上，它与Spring Web MVC无缝集成，使业务项目没有任何框架代码的侵入，并且能够与CI一键发布流程完美结合。它提供了新项目生成工具，可以一键生成新业务项目的骨架，生…☆18Updated 10 years ago
- 对RocketMQ的封装,加了一层Queue(Memory | File)来尽可能减小Produce时对主服务的影响.☆14Updated 11 years ago
- Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的☆16Updated 9 years ago
- dubbo服务间的分布式事物☆11Updated 9 years ago
- 微博数据分析服务框架。☆12Updated 9 years ago
- rank是一个seo工具，用于分析网站的搜索引擎收录排名。☆67Updated 8 years ago