cs-magic-open / scrapy-spidersLinks
使用Scrapy爬取主流网站的项目集合，持续更新。
☆10Updated 6 months ago
Alternatives and similar repositories for scrapy-spiders
Users that are interested in scrapy-spiders are comparing it to the libraries listed below
Sorting:
- 基于ffmpeg最新版与Python3最新版开发的视频与文件处理工具，可以批量递归进行处理视频（改名，倍速，提取音频或不含音频的视频，替换原视频中的音频）☆9Updated 4 years ago
- 51job，猎聘，拉勾，智联，Boss直聘 爬虫，使用scrapy框架和crawlab平台☆17Updated 4 years ago
- 微信支付、小程序、python、flask☆22Updated last year
- 天猫爬虫（大量注释，readme有思路分析）☆22Updated 6 years ago
- python+flask 提供api，admin后台管理（vue），前端（vue+uni-app）☆11Updated 6 years ago
- 不挂科AI后端是一个基于FastAPI框架构建的Web应用程序，旨在为用户提供一系列智能化的服务，包括视频转PPT、PPT转PDF、PDF和PPT内容解析、考试重点大纲生成、出题、思维导图生成等功能。该后端服务使用了多种Python库，如FastAPI、PyPDF2、pyt…☆12Updated 7 months ago
- 爱奇艺，腾讯视频爬虫。趣头条，大鱼号，qq cookies http客户端。含腾讯视频滑块破解，视频接口逆向。a webspider for many chainese video website☆26Updated 2 years ago
- 知乎热点推送☆14Updated last month
- 公众号☆11Updated last year
- 毕设：使用PYQT5 和 scrapy框架 结合readability正文提取算法，再用pyinstaller打包. 开发一个通用的爬虫系统☆10Updated 5 years ago
- Ajax Hook Demo☆29Updated 5 years ago
- requests升级版requests-html 爬虫编写及通用爬虫模块搭建☆12Updated 6 years ago
- 抖音,淘宝系,常见新闻爬虫☆14Updated 3 years ago
- 基于 Flask、Echarts、Pandas 等实现的图书分析大屏展示系统☆15Updated 2 years ago
- Python爬虫项目集合☆60Updated 6 years ago
- 基于微信网页版爬虫来对微信中获取到的联系人相关信息Flask，Echarts进行数据分析☆13Updated 6 years ago
- 基于浏览器端，通过JavaScript的小红书爬虫☆14Updated 2 years ago
- Python 实战项目：爬取上交所和深交所所有股票的名称和交易信息☆9Updated 6 years ago
- 模拟浏览器脚本操作,使用nodejs来批量读取和操作网盘文件信息。 这个代码库是`百度网盘批量清理重复文件计划`的一部分。☆11Updated 2 years ago
- APP端爬取抖音数据☆9Updated 5 years ago
- 企查查企业分类信息采集☆43Updated 5 years ago
- 基于celery大规模爬虫☆10Updated 5 years ago
- 国外新闻网站爬虫，并存储至Excel中☆16Updated 2 years ago
- 淘宝联盟pythonsdk修复python3版本，站长，淘宝联盟进行sdk开发，淘宝采集优惠券sdk☆13Updated 2 years ago
- 运用爬虫和手机模拟器自动获取App内信息并保存到数据库☆12Updated 6 years ago
- 性格职业测试App ( 以霍兰德算法为核心)☆11Updated 6 years ago
- 爬取知乎问题“什么时候你真的很心疼一只猫？”问题下的回答（截至2022.4.18）x-zse-96逆向分析☆12Updated 3 years ago
- django+es搭建的前后端分离，唐诗宋词搜索引擎。☆34Updated 3 years ago
- 获取知乎、V2EX、微博、贴吧、IT之家、豆瓣、虎扑、天涯、GitHub等网站热门头条的多线程爬虫，使用Flask聚合网站。☆35Updated 2 years ago
- ☆21Updated 7 years ago