datugou / spiders
各种爬虫：爱企查爬虫，网上114企业信息爬虫，抖音视频爬虫，wipo爬虫， 专利信息爬虫（patentscope）
☆71Updated 3 years ago
Related projects ⓘ
Alternatives and complementary repositories for spiders
- 企业工商信息接口(包含天眼查、企查查、爱企查、国家企业公示系统平台、快准)☆89Updated last year
- 企查查企业信息爬虫 ，企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。☆309Updated last year
- python爬虫小项目【持续更新】【笔趣阁小说下载、Tweet数据抓取、天气查询、网易云音乐逆向、天天基金网查询、微博数据抓取（生成cookie）、有道翻译逆向、企查查免登陆爬虫、大众点评svg加密破解、B站用户爬虫、拉钩免登录爬虫、自如租房字体加密、知乎问答☆98Updated 10 months ago
- 最新破解国家企业信用信息公示系统加速乐加密cookies☆42Updated last year
- 小红书相关爬虫☆86Updated 2 years ago
- 企查查请求头反爬破解☆39Updated 3 years ago
- 淘宝的模拟登录，有requests和selenium两个版本☆45Updated 4 years ago
- 《微信公众号采集系统》微信公众号文章的阅读数、在看数、评论数、评论列表，还有微信公众号的账号基本信息。☆166Updated 2 years ago
- 天眼查爬取企业信息-企业信用信息查询系统-天眼查爬虫☆73Updated 3 years ago
- 小红书笔记爬虫☆139Updated 2 years ago
- 通用新闻类网站分布式爬虫☆72Updated 6 years ago
- 各大网站逆向demo。企名片、震坤行工业超市、天翼云登录、物超所值、瓜子二手车、马蜂窝、中华诗词库、澳门彩票、药智网、福建省招标投标在线监管平台、全国公共资源交易平台、问卷星、中国人民银行条法司、中华人民共和国公安部、AqiStudy、巨量星图、HeyTap、掌上高考、船讯…☆123Updated 2 years ago
- 📦 原创开发的 爬虫实用工具 【特定代理池】【特定cookies池】【注册辅助工具】☆117Updated 5 years ago
- 爬虫项目：链家网（普通/scrapy）、虎扑、维基百科、百度地图api、房天下（分布式爬虫）、微信公众号（代理池爬取）☆210Updated last year
- python爬虫练习案例，汇总一些简单的js逆向案例，看准网，网易云评论、房天下，粉笔网，企名片，天翼云，巨潮资讯，tokencap，新榜资讯，公共资源交易，欧科云链，得物等☆221Updated last month
- 爬虫学习。实战：微博各种类型爬虫，唯品会商品，淘宝商品等☆79Updated 9 months ago
- 微信公众号爬虫，根据指定公众号名称，爬取该公众号所有文章。☆36Updated 2 years ago
- 关于5000+站点的scrapy爬虫开发，涉及一些技术架构搭建以及各种反爬方案，详见readme文件☆30Updated last year
- Python爬虫进阶 JS 解密逆向实战☆172Updated 2 years ago
- ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个☆170Updated 4 years ago
- 美团app爬虫☆115Updated last year
- 可视化爬虫自动采集平台☆177Updated last year
- 联系微信（batmkey）微信weixin, 小红书xhs,小红书抓取api,微信公众号数据,微信历史发文，微信阅读数，微信评论，知乎,知乎爬虫,微博 API,抖音 API,小红书 API,社交电商-【十荟团】 API,美团外卖 API,饿了么 API,大众点评 API,b…☆171Updated last week
- 爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本☆104Updated 7 months ago
- 京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数 据☆173Updated last year
- 淘宝根据搜索词搜索商品爬虫，无selenium，动态cookie，动态代理IP☆21Updated 3 years ago
- 一些 Python 爬虫练习：bilibili用户信息爬取、下载工具、房天下新房二手房redis分布式爬虫、简书全站文章爬取、观察者网站首页新闻爬取、淘宝模拟登陆、淘宝搜索商品信息爬取及可视化展示、知乎问题回答信息爬取\抖音无水印视频下载☆120Updated 4 years ago
- 爬虫合集☆120Updated 10 months ago