zjucx / DistributedCrawlerLinks
分布式爬虫，redis缓存，mysql持久化，rpc实现分布式。可用docker部署
☆48Updated 8 years ago
Alternatives and similar repositories for DistributedCrawler
Users that are interested in DistributedCrawler are comparing it to the libraries listed below
Sorting:
- 简单的、高可用、高效的基于共享内存的分布式配置中心，集中式管理各类后台配置，配置修改实时推送，且业务API相当简单（两行搞定，一个init+一个get，见readme），已轻量级支持Golang/C++/Java/Python等语言API☆40Updated 7 years ago
- 一个简单的分布式任务调度系统，有vue管理后台可以操作☆25Updated 6 years ago
- 基于Beego完成的合租短租web服务☆56Updated 6 years ago
- 用go实现日志收集的客户端☆76Updated 4 years ago
- 学习和研究Go的一些代码☆51Updated 7 years ago
- 使用 gin 和 MongoDB 完成的 IoT 管理平台后端☆50Updated 6 years ago
- 一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫。(兴趣使然的项目，用的不爽了就更新)☆162Updated 8 years ago
- MoonSocket——从零开始写Go网络通信框架☆39Updated 8 years ago
- golang grpc gin☆32Updated 6 years ago
- 可以支持1亿以上用户的IM系统☆32Updated 7 years ago
- go 开发经常用到的解析包☆72Updated 5 years ago
- web部分（vuejs＋beego框架＋webpack组件化）；爬虫部分（1680位明星的sina微博首页收据）；分词部分（结巴分词）；索引构建部分（快拍+败者树）；索引搜索部分（倒排索引R+tree）☆72Updated 8 years ago
- version_cache是一个分步式一致性缓存解决方案。☆12Updated 5 years ago
- 以Kafka为存储介质，提供异步Http RPC的中间件☆89Updated 7 years ago
- go的一些高级技巧☆13Updated 6 years ago
- 基于go编写的网络嗅探抓包工具☆32Updated 8 years ago
- 《Go 语言高级编程》随书源码☆64Updated 6 years ago
- 从零开始微服务框架使用☆46Updated 6 years ago
- Go 实战百度云盘☆62Updated 6 years ago
- 常用的运维命令合集☆32Updated 7 years ago
- 😎从简单的即时聊天来看架构演变by golang☆95Updated 5 years ago
- 利用 Go 语言实现常用的数据结构与算法。☆33Updated 6 years ago
- golang taskino distributed scheduler☆49Updated 6 years ago
- 简单高效的 Golang 日志库☆16Updated 6 years ago
- dister(Distribution Cluster)是一款轻量级高性能的分布式集群管理软件，实现了分布式软件架构中的常用核心组件，包括：服务配置管理中心、服务注册与发现、服务健康检查、服务负载均衡。dister的灵感来源于ZooKeeper、Consul、Etcd，它们…☆42Updated 7 years ago
- 《Go In Action》代码笔记，练习题，项目源码分析，改进代码等。☆24Updated 8 years ago
- 为了促进产品的平台化建设, 把kafka消息队列从服务中抽象出来。让消息队列只关注消息的订阅和发布，使用微服务，减少与业务逻辑的耦合, 该服务支持多实例部署☆19Updated 8 years ago
- 轻量弹幕（IM）系统☆11Updated 7 years ago
- Go实现生产级的日志收集器☆10Updated 2 years ago
- simpler golang logger which package sugared zap☆36Updated 3 years ago