golang-collection / go-crawler-distributedLinks
分布式爬虫项目，本项目支持个性化定制页面解析器二次开发，项目整体采用微服务架构，通过消息队列实现消息的异步发送，使用到的框架包括：redigo, gorm, goquery, easyjson, viper, amqp, zap, go-micro，并通过Docker实现容器化部署，中间爬虫节点支持水平拓展。
☆52Updated last year
Alternatives and similar repositories for go-crawler-distributed
Users that are interested in go-crawler-distributed are comparing it to the libraries listed below
Sorting:
- Go 实战百度云盘☆62Updated 6 years ago
- Google资深工程师深度讲解Go语言 爬虫项目。☆63Updated 6 years ago
- 推荐算法、相似度算法、布隆过滤器、均值算法、一致性Hash、数据结构、leetcode练习☆41Updated 5 years ago
- GIN-VUE-ADMIN插件仓库所有被gin-vue-admin采纳的插件均可入进入本仓库且加入仓库开发者小组☆52Updated 2 years ago
- 由gin + gorm + jwt + casbin组合实现的RBAC权限管理脚手架前端Vue Typescript版本, 搭建完成即可快速、高效投入业务开发☆63Updated 3 years ago
- [https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+…☆181Updated 3 years ago
- High Quality Api Getaway☆97Updated 3 years ago
- golang micro service base on gin. golang 微服务集成框架☆183Updated last year
- websocket IM [go-micro 微服务, k8s构建,rpc], 即时聊天☆44Updated 5 years ago
- 基于Go整合Gossip+WebSocket的轻量级分布式消息队列。实现功能：订阅/发布推送、点对点推送、延时消息推送、消费失败自动重试、数据持久化、WAL预写日志、主从节点部署、集群负载均衡、ACK确认机制、内置网页端控制台☆32Updated 3 years ago
- Go 微服务网关配套前端代码☆111Updated 2 years ago
- Go 微服务框架，Router 基于 Gin 和 gRPC Gateway，同时支持 gRPC 和 HTTP，封装各种常用组件，开箱即用，专注业务。☆134Updated 3 months ago
- A repository for learning Golang☆40Updated 3 years ago
- Distributed Job Schedule Platform With Goalng、Raft And Cron (分布式任务调度平台，核心理念：易部署、高可用、跨平台、异步并行、弹性伸缩、微服务)☆127Updated 3 years ago
- 基于Golang的海量日志收集服务logCollect☆51Updated 2 years ago
- go-micro v3微服务实战-租房项目☆80Updated 4 years ago
- 一个用Go语言写的B2C商城☆89Updated 4 years ago
- austin项目的golang版本,一个聚合消息推送平台☆94Updated 2 years ago
- 一个基于gin开发的视频网站demo☆30Updated 7 years ago
- 😎从简单的即时聊天来看架构演变by golang☆95Updated 5 years ago
- a learning demo for gRPC☆55Updated 4 years ago
- 这是基于Go语言的一个秒杀系统。☆151Updated 7 years ago
- Digger is a powerful and flexible web crawler implemented by pure golang☆192Updated 3 years ago
- go+gin+网关+go-micro+traefik+etcd+docker-compose+kubernets从0到1部署基于GO的微服务☆73Updated 5 years ago
- explain the techniques needed for daily development☆17Updated last month
- 基于gin的go web框架。包含log、mysql、redis、httpClient、grpcClient、hystrix 等组件，swagger、pprof集成。☆87Updated 5 years ago
- 自动化运维系统☆81Updated 11 months ago
- This is an e-commerce management system built with Gin + Vue + Element UI. If you're interested in this project, feel free to submit PRs,…☆145Updated 7 months ago
- 微服务实战-类智行12306购票软件后端，分布式，支持终端多任务线上线下预定抢票(包括鉴权服务，配置中心（grpc），服务发现（consol），用户service，用户api，抢票任 务service，查询余票service，订票service等)☆27Updated 5 years ago
- 书中示例☆37Updated 5 years ago