Alternatives and similar repositories for awesome-scrapy:

Users that are interested in awesome-scrapy are comparing it to the libraries listed below

• PowersYang / Lianjia_analysis
  链家房屋数据爬虫以及数据分析
  ☆20Updated 5 years ago
• lzjun567 / PythonCrawlerGuide
  「Python爬虫学习+面试指南」一份涵盖大部分Python爬虫工程师所需要掌握的核心知识。
  ☆20Updated 4 years ago
• 15920036578 / TMALL_Spider
  天猫爬虫（大量注释，readme有思路分析）
  ☆23Updated 6 years ago
• 52ai / Crawler4Caida
  Stick to doing something interesting and valuable.
  ☆98Updated last year
• Hopetree / Jobs-search
  招聘网站爬虫合集，不定期更新分支
  ☆138Updated 7 years ago
• CooperMin / qichacha
  企查查企业分类信息采集
  ☆43Updated 5 years ago
• xiaoyuge / kingfish-python
  Python在LLM、数据分析、数据可视化、excel办公自动化、爬虫、并发编程、WEB开发等方面的示例代码以及一些个人项目代码
  ☆29Updated last year
• LeoMalik / Boss_zhipin_spider
  🔎 Boss 直聘 Python 招聘岗位信息爬取和分析🔎
  ☆71Updated 6 years ago
• Wangler2333 / bilibili_video_stat
  爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析
  ☆66Updated 6 years ago
• Brant-lzh / zhipin_com_spider
  爬取boss直聘招聘信息，爬取boos职位详情、工资、公司地点等信息
  ☆21Updated 4 years ago
• ZhiqiKou / Scrapy_notes
  一个向往成为程序员的码奴的Scrapy学习笔记
  ☆42Updated 6 years ago
• Randy-whiteSugar / LagouSpider_Scrapy
  使用Scrapy编写的拉勾网爬虫，添加了代理IP池、增量爬取机制
  ☆11Updated last year
• HegemonyTao / crawlProject
  今日头条 、淘宝 、微博 、斗鱼 、抖音 、哔哩哔哩 、有道翻译、steam网站以及网易云音乐爬取
  ☆59Updated 4 years ago
• teamowu / Data-Operation
  💡数据化运营💡：会员数据化运营(RFM模型、营销响应预测)、商品数据化运营、流量数据化运营、内容数据化运营
  ☆46Updated 5 years ago
• Python3WebSpider / AjaxHookSpider
  Ajax Hook Demo
  ☆29Updated 4 years ago
• runtangr / taoyoulue_spider
  基于mongodb存储，redis缓存，celery 实现的分布式爬虫。
  ☆13Updated 2 years ago
• Crypto-KK / aiohttp-spider
  python链家网异步IO爬虫，使用aiosync、aiohttp和aiomysql，异步爬取数据和异步存入数据库
  ☆21Updated 6 years ago
• zhenqiang-sun / fastapi_plus
  这是一个Python FastAPI项目工程库，包含DB、Redis、MongoDB、JSON等工具和基础服务类。
  ☆22Updated 4 years ago
• chjw8016 / www_job_com
  爬取拉勾、BOSS直聘、智联招聘、51job、赶集招聘、58招聘等职位信息
  ☆73Updated 7 years ago
• crifan / python_spider_pyspider
  Python爬虫框架：PySpider，既简单易用又功能强大且带图形界面
  ☆36Updated 3 years ago
• CarryChang / Video-Assistance
  自己使用Request+PyQT编写可视化视频解析工具，主要借用全民解析API的进行的各源头VIP视频解析，软件主要有各大厂的视频VIP解析功能，主要通过网络爬虫解析视频源，实现点击线路即可自动加载浏览器播放视频的功能，还有在加载视频的同时也生成对应的链接二维码，微信扫一扫…
  ☆24Updated 4 years ago
• 1414044032 / FlaskWX
  基于微信网页版爬虫来对微信中获取到的联系人相关信息Flask，Echarts进行数据分析
  ☆13Updated 5 years ago
• cxinping / PythonFullStack
  《Python 3 全栈开发从入门到精通》配套代码
  ☆49Updated 8 months ago
• lonnyzhang423 / github-hot-hub
  记录GitHub热门仓库，每小时更新，按天归档。
  ☆61Updated this week
• kingname / AutoCrawler
  ☆29Updated 5 months ago
• TurboWay / pybigdata
  使用 python 操作大数据的各种组件
  ☆62Updated 2 years ago
• Tim9Liu9 / python_spider_jobs
  python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海）各种编程岗位的职位数。
  ☆100Updated 6 years ago
• Zevs6 / Reptile
  🏀Python3网络爬虫 猫眼 腾讯视频 豆瓣 研招网 微博 笔趣阁小说 百度热点 B站 CSDN 网易云阅读 阿里文学 百度股票 今日头条 微信公众号 网易云音乐 拉勾 有道 unsplash 实习僧 汽车之家 英雄联盟盒子 大众点评 链家 LPL赛程 台风 梦幻西游、…
  ☆27Updated 5 years ago
• I4Can / ShoppingWebsiteCrawlwer
  基于关键字的配置化电商爬虫，目前已实现京东和苏宁（淘宝反爬太严重，因为没有使用selenium）
  ☆13Updated 4 years ago
• F-debug / NewsSpider
  该项目是基于Scrapy框架的Python新闻爬虫，能够爬取网易，搜狐，凤凰和澎湃网站上的新闻，将标题，内容，评论，时间等内容整理并保存到本地
  ☆37Updated 5 years ago