tikazyq / crawlab
Distributed web crawler admin platform for spiders management regardless of languages and frameworks.
☆61Updated 5 years ago
Alternatives and similar repositories for crawlab:
Users that are interested in crawlab are comparing it to the libraries listed below
- Amasd是一款基于scrapyd的scrapy部署工具☆28Updated 5 years ago
- SpiderAdmin 一个集爬虫Scrapy+Scrapyd爬虫项目查看 和 爬虫任务定时调度的可视化管理工具☆92Updated 3 years ago
- Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台☆223Updated last year
- SDK for Crawlab, including SDK for different programming languages such as Python, Node.js and Java, and a CLI Tool written in Python.☆55Updated 7 months ago
- 爬虫监控及可视化 ( Prometheus and Grafana ) Building a crawler with distributed task queues (Celery) and fetching data with a reliable monitor sy…☆44Updated 2 years ago
- 可视化任务调度系统,精简到一个二进制文件 (Web visual task scheduler system , yes ! just one binary solve all the problems !)☆188Updated 7 months ago
- Scrapy and Kafka☆14Updated 6 years ago
- 搜狗微信文章爬虫,对于临时链接进行转换为永久链接。☆11Updated 4 years ago
- 企业微信自动添加联系人☆10Updated 5 years ago
- Windows、Mac 客户端☆26Updated 4 years ago
- 一款分布式爬虫平 台,帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则(模版),可使用模版快速定义爬虫,也可当作框架手动开发爬虫。(兴趣使然的项目,用的不爽了就更新)☆164Updated 7 years ago
- 发源地/发源链开源分布式”数据挖矿“引擎,致力于挖掘大数据矿山背后的价值!☆97Updated 5 years ago
- 基于Scrapy的外卖平台商家信息爬虫☆75Updated 5 years ago
- SuperBI 是达闼科技以开源项目superset为基础开发的企业级快速BI应用。 可扩展的框架设计,支持多种DBMS数据源,让数据BI更加简单。 superbi提供直观的UI,拖拽式的编辑体验,配置式的图例创建,轻松创建数据可视化dashboard的能力。☆47Updated 3 years ago
- 一个真正的crontab管理平台。☆22Updated 4 years ago
- 在scrapyd基础上新增权限验证、爬虫运行信息统计、界面重构、,并增加排序、筛选过滤等多个API☆112Updated 6 years ago
- ☆27Updated 4 years ago
- 一个简单的分布式任务调度系统,有vue管理后台可以操作☆24Updated 5 years ago
- 一个Golang开发的短网址服务☆19Updated 7 years ago
- 微信公众号爬虫 (只需设置代理, 一键可以爬取所有历史文章)☆138Updated 6 years ago
- 自己搭建的adsl动态拨号代理池☆14Updated 5 years ago
- GIN-VUE-ADMIN插件仓库所有被gin-vue-admin采纳的插件均可入进入本仓库且加入仓库开发者小组☆51Updated last year
- 📦 原创开发的 爬虫实用工具 【特定代理池】【特定cookies池】【注册辅助工具】☆118Updated 5 years ago
- TeaWeb主机代理☆19Updated 5 years ago
- python scrapy 企业级分布式爬虫开发架构模板☆93Updated 6 years ago