taskPyroer / taskpyroLinks
爬虫管理系统,爬虫管理平台,分布式爬虫管理平台,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代码,支持windows分布式调度
☆147Updated last week
Alternatives and similar repositories for taskpyro
Users that are interested in taskpyro are comparing it to the libraries listed below
Sorting:
- 爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本☆124Updated 9 months ago
- SpiderBox - 虫盒 - 爬虫逆向资源导航站☆122Updated this week
- Python的微信机器人，内核由C++编写，并使用aardio加载Python提供脚本扩展功能☆102Updated 4 months ago
- 使用hook实现微信机器人，可用于公众号更新和历史采集，自动同意好友请求，自动邀请进群等☆101Updated 2 weeks ago
- 本库是个基于python的工具集，用于记录数据到文件。 使用方便，代码简洁， 是一个可靠、省心且实用的工具。 支持多线程同时写入。☆49Updated 5 months ago
- 注入Python到微信实现微信机器人☆105Updated 4 months ago
- 基于 PySide6 和 xhs-api 所开发的某书自动化工具☆94Updated 7 months ago
- 元素自动定位助手 来自骚神库 Drissionpage 库 元素语法定位谷歌浏览器插件 ， 辅助 新手快速入门 Drissionpage库，能避免使用DP库中遇到的各种关于元素定位的疑难杂症☆35Updated last year
- 基于DrissionPage和FastMCP的浏览器自动化MCP服务器，提供丰富的浏览器操作API供AI调用☆49Updated last week
- 使 scrapy 开发不用在意 item，pipeline，middleware 等通用场景下模块的编写，解放开发者的双手。☆96Updated this week
- 这是一个xpath开发者的工具，可以帮助开发者快速的定位网页元素。☆259Updated last year
- 神奇的蜘蛛🕷，一个几乎适用于所有web端站点的采集方案☆346Updated 3 years ago
- 微信公众号聚合平台，获取多个公众号的博文进行筛选、过滤，使用户更方便的读取公众号上的所有文章，每日爬取文章并在个人博客上更新 https://zejuncao.github.io/☆59Updated 2 months ago
- Playwright滑动腾讯滑块验证码☆54Updated 2 years ago
- 微信公众号爬虫☆166Updated last year
- 实现本地调用douyin 的接口☆74Updated 4 months ago
- 《微信公众号采集系统》微信公众号文章的阅读数、在看数、评论数、评论列表，还有微信公众号的账号基本信息。☆178Updated 3 years ago
- cookie维护☆18Updated 8 months ago
- spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项目查看 和 爬虫任务定时调度的可视化管理工具，SpiderAdmin的升级版☆603Updated 10 months ago
- Luna-指纹浏览器,伪装浏览器,Browser,anti fingerprint browser,指纹浏览器,隐私浏览器,浏览器指纹,浏览器嗅探,指纹识别,web指纹库,web3空投浏览器,AI 的浏览器，网络爬虫，抢购脚本☆80Updated last month
- 一个简易且可扩展的消息通知组件，已内置钉钉，企微，bark，pushover，pushdeer，飞书，邮件等消息通知组件☆25Updated 3 weeks ago
- AutoWK is a web automation tool.一个超级轻量级的自动化浏览器框架，自带指纹浏览器，网络抓包服务，反自动化检测，可直接过5s盾/cloudfare，支持HTTP与SOCKS5密码代理配置，可使用任何编程语言驱动自动操作浏览器。☆248Updated last month
- 小红书xs纯算 小红书x-s参数纯算纯协议逆向☆469Updated last month
- 我关注的一些优质公众号，基本都是js逆向和安卓逆向方面☆169Updated 4 months ago
- xhs 小红书自动化 养号: 提升账号权重, 培养账号兴趣定位, 自动浏览, 自动点赞, 自动发帖, 其他自动化操作进行中.........☆96Updated 10 months ago
- 单缺口/多缺口滑块验证码识别，pip安装使用, 下方链接在线体验 ⬇⬇⬇☆314Updated 3 weeks ago
- An intelligent web service to automatically detect web content and extract information from it.☆86Updated 2 years ago
- MoreAPI是抖音/lemon8/小红书/快手等各视频平台非官方的RESTful API平台。抖音视频解析、小红书解析、快手解析、youtube解析、B站解析☆114Updated 3 weeks ago
- 浏览器特征抹除，及浏览器指纹随机化☆169Updated last year
- 图片类验证码识别(数字验证码/缺口验证码/文字验证码/旋转验证码/相似物体验证码)☆286Updated last year