golang-collection / go-crawler-distributedLinks
分布式爬虫项目,本项目支持个性化定制页面解析器二次开发,项目整体采用微服务架构,通过消息队列实现消息的异步发送,使用到的框架包括:redigo, gorm, goquery, easyjson, viper, amqp, zap, go-micro,并通过Docker实现容器化部署,中间爬虫节点支持水平拓展。
☆53Updated last year
Alternatives and similar repositories for go-crawler-distributed
Users that are interested in go-crawler-distributed are comparing it to the libraries listed below
Sorting:
- Google资深工程师深度讲解Go语言 爬虫项目。☆63Updated 6 years ago
- Go 实战百度云盘☆62Updated 6 years ago
- 推荐算法、相似度算法、布隆过滤器、均值算法、一致性Hash、数据结构、leetcode练习☆40Updated 4 years ago
- Distributed Job Schedule Platform With Goalng、Raft And Cron (分布式任务调度平台,核心理念:易部署、高可用、跨平台、异步并行、弹性伸缩、微服务)☆126Updated 2 years ago
- golang micro service base on gin. golang 微服务集成框架☆182Updated last year
- [https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+…☆180Updated 2 years ago
- 基于Beego完成的合租短租web服务☆56Updated 5 years ago
- 使用 go+docker+go-micro微服务框架开发的租房网系统,符合RESTful架构风格。☆29Updated 6 years ago
- Go 微服务网关配套前端代码☆110Updated last year
- A repository for learning Golang☆40Updated 2 years ago
- 由gin + gorm + jwt + casbin组合实现的RBAC权限管理脚手架前端Vue Typescript版本, 搭建完成即可快速、高效投入业务开发☆63Updated 3 years ago
- go frame框架基础介绍☆133Updated 3 weeks ago
- High Quality Api Getaway☆96Updated 2 years ago
- Go工具库☆38Updated 7 months ago
- websocket IM [go-micro 微服务, k8s构建,rpc], 即时聊天☆44Updated 5 years ago
- go util 是golang通用工具包,实现一站式,开箱即用☆75Updated 6 years ago
- 书中示例☆37Updated 4 years ago
- 基于Go整合Gossip+WebSocket的轻量级分布式消息队列。实现功能:订阅/发布推送、点对点推送、延时消息推送、消费失败自动重试、数据持久化、WAL预写日志、主从节点部署、集群负载均衡、ACK确认机制、内置网页端控制台☆30Updated 3 years ago
- 一个用Go语言写的B2C商城☆87Updated 4 years ago
- go+gin+网关+go-micro+traefik+etcd+docker-compose+kubernets从0到1部署基于GO的微服务☆73Updated 5 years ago
- 自动化运维系统☆80Updated 6 months ago
- go-micro v3微服务实战-租房项目☆82Updated 3 years ago
- 😎从简单的即时聊天来看架构演变by golang☆96Updated 5 years ago
- 一个基于gin开发的视频网站demo☆31Updated 6 years ago
- 分布式任务调度平台☆151Updated last year
- 分布式任务调度平台,分布式,任务调度,schedule,scheduler☆282Updated 2 years ago
- 基于golang实现的一种分布式云存储服务☆105Updated 5 years ago
- 这是基于Go语言的一个秒杀系统。☆151Updated 7 years ago
- 基于gin的go web框架。包含log、mysql、redis、httpClient、grpcClient、hystrix 等组件,swagger、pprof集成。☆87Updated 5 years ago
- Go语言实现的日志收集服务,由LogAgent、LogTransfer和LogManager三部分组成。☆50Updated 2 years ago