cs-magic-open / scrapy-spidersLinks
使用Scrapy爬取主流网站的项目集合，持续更新。
☆10Updated 10 months ago
Alternatives and similar repositories for scrapy-spiders
Users that are interested in scrapy-spiders are comparing it to the libraries listed below
Sorting:
- Ajax Hook Demo☆30Updated 5 years ago
- 高效微信公众号历史文章和阅读数据爬虫powered by scrapy 微信公众号爬虫 微信采集 公众号采集☆67Updated 6 years ago
- Python爬虫项目集合☆60Updated 6 years ago
- 基于Python3爬取知乎每日热点、每小时更新一次，并归档☆22Updated 4 months ago
- Stick to doing something interesting and valuable.☆97Updated last year
- Automatically generate popular videos 自动生成热门视频☆45Updated 3 years ago
- 使用Selenium对Boss直聘网站进行爬虫，将招聘信息存入MongoDB，并对岗位要求分词生成词云。☆26Updated 4 years ago
- Python爬虫集合，内含各大网站爬虫，应有尽有，爬虫爱好者不容错过！！！☆82Updated 4 years ago
- 微信公众号爬虫，根据指定公众号名称，爬取该公众号所有文章。☆36Updated 3 years ago
- 基于QQ/微信聊天记录的年度报告，支持群聊，单聊。简单安装客户端，就可以方便生成属于自己的、每个群聊的年度报告。☆24Updated 3 years ago
- http://zxgk.court.gov.cn/zhzxgk/ 失信被执行人查询，被执行人查询，限制消费，终本案件查询，shixin☆15Updated 5 years ago
- 公众号批量导出下载：微信公众号文章列表备份，支持导出HTML，PDF格式，包含阅读数/点赞数/在看数/留言数☆55Updated 3 years ago
- 基于Flask框架 爬取百度文库的python web 项目☆25Updated 3 years ago
- [2023.05.09]基于selenium的新浪微博关键字搜索结果全自动爬虫，支持自定义搜素关键字、搜索起始时间、爬取起始页数（以实现中断后接上次继续爬取）。爬取内容包括微博账号、发文时间、发送平台、微博内容、转发次数、评论次数、点赞次数、原博地址。☆31Updated last year
- ✨基于 Python, FastAPI, sqlite3 的简单 ERP 系统✨📌含在线demo：企业资源计划系统（Enterprise Resource Planning System），电商金融系统，实现 MPS(Master Production Schedule)…☆29Updated last year
- FreeProxy: Collecting free proxies from internet.☆110Updated 3 years ago
- ☆37Updated 4 years ago
- 爬虫工程师常用的 Chrome 插件 | Chrome extensions used by crawler developer☆91Updated 3 years ago
- 本意是想做一个直接调用kimi的API帮我读论文的程序，然后发现API太贵了，但kimi网页版免费，就结合chrome和python写了这么个东西☆11Updated last year
- 各种爬虫：爱企查爬虫，网上114企业信息爬虫，抖音视频爬虫，wipo爬虫， 专利信息爬虫（patentscope）☆76Updated 3 years ago
- Various app reverse crawler data interfaces. Tiktok, Xiaohongshu, Kwai, JD, Meituan, Hungry, Popular Comments, douyin xiaohongshu kuaisho…☆14Updated 5 months ago
- 更新给出selenium库的爬虫，效率很高，且能直接用。 python，大众点评的爬虫，突破反爬，获取关于任意店铺的评论和评分之类的。给出破解css加密的逻辑☆39Updated 5 years ago
- 🛠一款异步清洗、高效抓取、稳定提供有效代理的IP代理池☆28Updated 2 years ago
- 微信支付、小程序、python、flask☆22Updated last year
- 不挂科AI后端是一个基于FastAPI框架构建的Web应用程序，旨在为用户提供一系列智能化的服务，包括视频转PPT、PPT转PDF、PDF和PPT内容解析、考试重点大纲生成、出题、思维导图生成等功能。该后端服务使用了多种Python库，如FastAPI、PyPDF2、pyt…☆13Updated 10 months ago
- 微信公众号文章下载，阅读数，点赞数获取等☆17Updated 3 months ago
- 一些 Python 爬虫练习：bilibili用户信息爬取、下载工具、房天下新房二手房redis分布式爬虫、简书全站文章爬取、观察者网站首页新闻爬取、淘宝模拟登陆、淘宝搜索商品信息爬取及可视化展示、知乎问题回答信息爬取\抖音无水印视频下载☆141Updated 8 months ago
- 小红书关键词笔记搜索Python 爬虫 （csv保存）☆72Updated 2 years ago
- 获取知乎、V2EX、微博、贴吧、IT之家、豆瓣、虎扑、天涯、GitHub等网站热门头条的多线程爬虫，使用Flask聚合网站。☆35Updated 2 years ago
- 记录微博热搜、热门话题，每小时更新，按天归档。☆63Updated this week