lizongying / go-crawler
A web crawling framework implemented in Golang, it is simple to write and delivers powerful performance. It comes with a wide range of practical middleware and supports various parsing and storage methods. Additionally, it supports distributed deployment. 基于golang实现的爬虫框架，编写简单，性能强劲。内置了丰富的实用中间件，支持多种解析、保存方式，支持分布式部署。
☆122Updated last year
Alternatives and similar repositories for go-crawler:
Users that are interested in go-crawler are comparing it to the libraries listed below
- ⚡️ A proxy packet capture tool implemented in Go, supports multiple protocols such as Http, Https, Ws, Wss, Tcp, Socks5, and can intercep…☆259Updated last year
- AJ-Captcha行为验证码的Go实现包☆110Updated 9 months ago
- 基于小红书 Web 端进行的请求封装。☆15Updated last year
- 使用 Golang+Chrome+OpenCV 破解腾讯滑块验证码☆99Updated 3 years ago
- Echo & Gin & GoFiber & GoZero & Hertz & Kratos + Ant Design Pro 前后端分离的管理后台，Build Anything With Quark☆246Updated this week
- 巨量引擎marketing-api golang sdk☆101Updated 2 weeks ago
- 方便用户学习和调试PowerWechat接口功能☆92Updated 2 months ago
- 抖音SDK☆169Updated last year
- Golang 实现的 IP 代理池, 涉及到的技术点: go gorm proxy proxypool ip crawler 爬虫 mysql viper cobra☆131Updated 10 months ago
- dilu完整版本，集成所有的插件，学习或者要开发后台，选这个没错。dilu是一个golang的快速开发脚手架，基于Gin + Gorm + Vue3 + Element plus（vue-pure-admin）Saas化设计，可支持多团队（租户），基础用户管理功能，jwt鉴…☆20Updated last week
- goctls 是 goctl 对 simple admin 的适配优化后的生成工具。 Goctls is the generating tools for simple admin.☆38Updated this week
- dilu简化版本，自己开发首选，一个golang的快速开发脚手架，基于Gin + Gorm + Vue3 + Element plus（vue-pure-admin）Saas化设计，可支持多团队（租户），基础用户管理功能，jwt鉴权，代码生成器，权限管理，表单构建，因夫人工…☆66Updated last week
- A Go backend project demo using GoFrameV2. The goal of the project is to empower developers to concentrate on the development of business…☆85Updated 9 months ago
- austin项目的golang版本,一个聚合消息推送平台☆89Updated 2 years ago
- 一个简洁的云存储 golang 库，兼容 amazon s3 协议，支持但不限于阿里云、腾讯云、七牛云、华为云、aws s3、minio。☆53Updated last year
- Go 微服务框架，Router 基于 Gin 和 gRPC Gateway，同时支持 gRPC 和 HTTP，封装各种常用组件，开箱即用，专注业务。☆131Updated last month
- 基于 golang goframe + vue3 的、前后端分离的后台管理系统快捷使用模板，支持按钮级别的 RBAC。☆51Updated last year
- 基于goframe v2的企业网站内容管理系统☆64Updated last month
- Example of using the Go GUI library XCGUI. 炫彩界面库Go语言版例子☆54Updated last month
- 扩展 go-zero 框架，能通过内置模板或外部模块一键创建项目，并基于 proto/api/sql 等可描述文件生成服务端/客户端/数据库代码，开箱即用并高度可定制化.☆80Updated this week
- Go生成图形验证码，带噪点，干扰线，正弦干扰线；支持生成普通的字符串和简单的数学算术运算公式☆35Updated 6 years ago
- gathertool是golang脚本化开发库，目的是提高对应场景程序开发的效率；轻量级爬虫库，接口测试&压力测试库，DB操作库等。☆53Updated this week
- 这是一个由golang编写的采集器，可以自动识别文章列表和文章内容。使用它来采集文章并不需要编写正则表达式，你只需要提供文章列表页的连接即可。☆47Updated 2 years ago
- Distributed scheduled task management platform Go语言实现的分布式定时任务管理平台，支持多节点部署，支持节点任务自动分配和故障转移☆88Updated last year
- Go语言实现小红书开放平台sdk，使用简单，扩展灵活☆18Updated 4 months ago
- A tool based on go zero with more features for quick developmemt. 一个基于Go zero优化的库，为 simple admin 提供定制化需求。☆37Updated last month
- golang版本ddddocr通用验证码识别☆16Updated 9 months ago
- GoFly快速开发框架基于Gin快速开发框架，能快速搭建应用、框架底层完善、丰富代码仓插件、快速开发数据大屏、物联网平台、OA流程审批、工作流引擎、商城、微信管理后台等。api文档管理并一键生成api接口代码，一键生成 CRUD前后端代码丰富组件，基于 Gin和 Vue3的…☆394Updated 2 weeks ago
- lakego-admin 是使用 gin、JWT 和 RBAC 的前后端分离的 go 后台管理系统。An admin api system with gin, JWT and RBAC.☆362Updated this week
- GoPay payment platform☆22Updated 2 months ago