Germey / AwesomeWebScraping
List of libraries, tools and APIs for web scraping and data processing.
☆237Updated 5 months ago
Related projects: ⓘ
- 神奇的蜘蛛🕷,一个几乎适用于所有web端站点的采集方案☆332Updated 2 years ago
- An intelligent web service to automatically detect web content and extract information from it.☆84Updated last year
- 爬虫管理系统,支持集群,弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本☆99Updated 5 months ago
- js逆向和爬虫☆298Updated last year
- 记录一下js逆向的网站☆223Updated last year
- Auto Extractor Module☆319Updated last month
- Web crawler and data processing toolkit !☆46Updated last year
- 《微信公众号采集系统》微信公众号文章的阅读数、在看数、评论数、评论列表,还有微信公众号的账号基本信息。☆161Updated 2 years ago
- Python爬虫进阶 JS 解密逆向实战☆168Updated 2 years ago
- Downloader Middleware to support Pyppeteer in Scrapy & Gerapy☆137Updated 2 years ago
- 《爬虫逆向进阶实战》书籍代码库☆599Updated last month
- 逆向☆388Updated last year
- JS逆向研究☆267Updated 3 years ago
- 使用feapder爬虫框架开发的爬虫示例☆30Updated last year
- 爬虫js解密、python解密 大众点评|中国移动|新浪微博|汽车之家|Steam|中华英才网|拼多多|36氪|今日头条... 欢迎Star☆345Updated 3 years ago
- Downloader Middleware to support Playwright in Scrapy & Gerapy☆106Updated 2 years ago
- spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项目查看 和 爬虫任务定时调度的可视化管理工具,SpiderAdmin的升级版☆548Updated 3 weeks ago
- JS逆向Hook工具集,开源部分工具到这里☆293Updated last year
- 碎片记录一些从开始学编程以来各种零散的代码片,仅供个人方便查看使用。☆138Updated last year
- 爬虫逆向破解心得记录,包含网易易盾、极验验证码、数美验证码、顶象验证码、同盾验证码、腾讯验证码、拼多多验证码,瑞数4 5 6代,包含验证码识别、滑块、点选、空间推理。已更新电商/工商/航空/抖音/小红书/文书采集系统。☆42Updated last year
- 使 scrapy 开发不用在意 item,pipeline,middleware 等通用场景下 模块的编写,解放开发者的双手。☆68Updated this week
- 一个免费开源一键搭建的通用验证码识别平台,大部分常见的中英数验证码识别都没啥问题。☆186Updated 3 years ago
- 逆向学习:抖音ac_signature、快手滑块、瑞数5、akamai2.0、京东ht5st、极验w、网易易盾、ibox数据接口、企查查动态请求头、加速乐、千千音乐、抖音直播数据监控、拼多多anti_content、新有道翻译、点点数据、空气质量检测平台、网易云音乐、考古加☆322Updated last month
- JS逆向系列教程,模拟登录,AES、RSA、DES加密等,持续更新,欢迎 star!☆396Updated 3 years ago
- python爬虫练习案例,汇总一些简单的js逆向案例,看准网,网易云评论、房天下,粉笔网,企名片,天翼云,巨潮资讯,tokencap,新榜资讯,公共资源交易,欧科云链,得物等☆205Updated 3 months ago
- JS逆向破解☆96Updated 2 months ago
- ☆74Updated this week
- 一个可以跑js的逆向工具。☆561Updated last year
- js逆向环境框架基础(持续补充)☆198Updated 2 years ago
- A Chrome extension for web analytics☆180Updated 2 years ago