taskPyroer / taskpyro
爬虫管理平台,轻量级Python任务调度,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代码
☆77Updated this week
Alternatives and similar repositories for taskpyro
Users that are interested in taskpyro are comparing it to the libraries listed below
Sorting:
- SpiderBox - 虫盒 - 爬虫逆向资源导航站☆81Updated this week
- 爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本☆116Updated 5 months ago
- Python的微信机器人，内核由C++编写，并使用aardio加载Python提供脚本扩展功能☆90Updated this week
- 基于python的网页自动化框架、基于Chrome DevTools Protocol的封装，主要方向是抹除了cdp识别、以及搭配luna浏览器 模拟多指纹、鼠标移动轨迹，ant fingerprins、防关联☆56Updated last month
- SpiderApi - 虫术 - 爬虫逆向常用 API☆77Updated 3 weeks ago
- 浏览器特征抹除，及浏览器指纹随机化☆137Updated 9 months ago
- Playwright滑动腾讯滑块验证码☆53Updated last year
- 使 scrapy 开发不用在意 item，pipeline，middleware 等通用场景下模块的编写，解放开发者的双手。☆89Updated this week
- 🚀 一个基于原生 WebKit二次开发的自动化浏览器框架，可直接过5s盾/cloudfare，支持HTTP与SOCKS5密码代理配置，并通过 Python 客户端驱动自动操作浏览器。☆50Updated last week
- 基于PlayWright和xvfb实现对js渲染的动态网页进行抓取，包含网页源码、截图、网站入口发现 、网页交互过程、Web 指纹信息等等，支持优先级任务调度。☆45Updated 3 years ago
- 一个简易且可扩展的消息通知组件，已内置钉钉，企微，bark，pushover，pushdeer，邮件等消息通知组件☆21Updated last year
- 注入Python到微信实现微信机器人☆99Updated 11 months ago
- 反爬虫策略讲解与代码示例☆34Updated 9 months ago
- 微信机器人Windows协议 支持 文本 语音条 xml 图片 文件 发送 拍一拍 不支持视频 ，可在任意系统运行，不依赖于windows☆55Updated 8 months ago
- 本库是个基于python的工具集，用于记录数据到文件。 使用方便，代码简洁， 是一个可靠、省心且实用的工具。 支持多线程同时写入。☆49Updated last month
- 毒液系列-aoman去指纹浏览器：可以通过对浏览器环境的伪造绕过部分限制，配上插件和可变隧道就可以大大增加溯源的工作量；可以通过刷新浏览器页或者新建浏览器标签页即得到全新的浏览器环境，可以帮助我们更快速更便捷的发现参数变化+去debugger浏览器☆99Updated 11 months ago
- cookie维护☆15Updated 4 months ago
- PyWxDump 的网页端☆48Updated 2 months ago
- 最强免费Chromium指纹浏览器，Chromium119版本指纹浏览器，可完美过BrowserScan\PxielScan\Creepjs网站浏览器指纹检测，过绝大多数网站风控，指纹传参，一键变换指纹信息。关键词：抗指纹浏览器，网络爬虫，浏览器指纹，自动化浏览器，爬虫自动…☆26Updated 4 months ago
- 帮助爬虫通过点选验证及滑动验证, 验证码识别☆94Updated 2 years ago
- 滑块验证码识别，基于YOLOv8训练，支持单缺口、多缺口、截图识别，pip安装即可使用，感谢Star☆187Updated this week
- Tinepeas，我们自己的爬虫框架。☆62Updated 9 months ago
- 腾讯、百度、快手、抖音、京东、谷歌移动滑块验证识别☆38Updated last year
- Luna-抗指纹浏览器|爬虫|防反爬虫框架|浏览器指纹|自动化浏览器|防识别|反识别|爬虫框架|自动化测试框架☆201Updated last month
- 个人向自写JS Hook脚本☆192Updated this week
- 元素自动定位助手 来自骚神库 Drissionpage 库 元素语法定位谷歌浏览器插件 ， 辅助 新手快速入门 Drissionpage库，能避免使用DP库中遇到的各种关于元素定位的疑难杂症☆29Updated 11 months ago
- 这是一个xpath开发者的工具，可以帮助开发者快速的定位网页元素。☆240Updated last year
- 用于解析列表页链接和提取详细页内容的库☆17Updated last year
- 各大网站逆向demo。企名片、震坤行工业超市、天翼云登录、物超所值、瓜子二手车、马蜂窝、中华诗词库、澳门彩票、药智网、福建省招标投标在线监管平台、全国公共资源交易平台、问卷星、中国人民银行条法司、中华人民共和国公安部、AqiStudy、巨量星图、HeyTap、掌上高考、船讯…☆132Updated 3 years ago
- ☆11Updated 3 weeks ago