Alternatives and similar repositories for scrapy:

Users that are interested in scrapy are comparing it to the libraries listed below

• chifeng111 / taobao
  淘宝商品信息爬取
  ☆12Updated 7 years ago
• csurong / Manyuewan
  flask + 爬虫 = 小说 + 漫画
  ☆32Updated 2 years ago
• feixuelove1009 / mysite-hotpoint
  一个类似抽屉新热榜的新闻聚合分享站点
  ☆14Updated 8 years ago
• hl10502 / scrapy_site
  使用Scrapy框架，通过关键字检索，爬取招标网站的招投标信息，每天定时发送Email
  ☆56Updated 8 years ago
• bowenpay / weibo-spider
  微博爬虫。通过调用weibo api，而非暴力爬取的方式获取信息。
  ☆32Updated 8 years ago
• Henryhaohao / DouYin_Video
  DouYin_Video抖音APP视频下载
  ☆31Updated 6 years ago
• xiaosimao / wx_code
  公众号文章代码
  ☆62Updated 6 years ago
• SteelZheng / python-get-girl-image
  Python爬虫，抓取“mzitu.com”网站上的美女图片。支持将单一界面的多相册下的图片下载到本地。用到第三方库BeautifulSoup、request
  ☆86Updated 8 years ago
• littlepai / Unofficial-Zhihu-API
  深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取
  ☆78Updated 2 years ago
• xiaobeibei26 / weixin_spider
  微信文章爬虫，加入代理池中间件
  ☆17Updated 8 years ago
• Tobby-star / douyin
  抖音视频下载
  ☆123Updated 6 years ago
• Centurywang / spider_DownloadMeizituPictures
  爬取妹子图
  ☆10Updated 5 years ago
• qqxx6661 / scrapy-yzd
  该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。
  ☆35Updated 6 years ago
• pymyworld / xingji100_spider
  主播数据平台基础数据爬虫，包括斗鱼、企鹅、熊猫、b站、全民、虎牙、龙珠、战旗、火猫
  ☆17Updated 6 years ago
• Python3WebSpider / ProxySettings
  Proxy Settings
  ☆42Updated 7 years ago
• mindawei / p2p
  一个基于 python 的 flask 框架的资讯网站， http://119.29.100.53:8086/
  ☆32Updated 6 years ago
• gisShield / douyin
  抖音数据爬虫，初学python和scrapy框架的练手项目，未完善版本
  ☆24Updated 5 years ago
• nolanzhao / FutureNews
  新闻聚合网站，抓取科技圈主流媒体报道的即将发生的事
  ☆58Updated 2 years ago
• markstock7 / Simple-Computer-Robot
  当初为某个站长编写的爬虫，可以用来爬去优酷视频，电影天堂，搜狗等站的资源，采用多线程，可以在配置文件里面给定关键词，数据库配置信息等，自动更新到极光cms中(现在好像找不到了).所以此代码只给想要学习用python编写爬虫的同学学习
  ☆36Updated 9 years ago
• Harhao / toutiao
  今日头条科技新闻接口爬虫
  ☆18Updated 7 years ago
• makelove / Python_Master_Courses
  人生苦短 我用Python
  ☆63Updated 2 years ago
• tss12 / python-xianyu-spider
  简单的闲鱼爬虫，采集闲鱼游泳卡转让信息，可自己在url中自定义要采集的二手商品信息以及筛选商品价格，采集完成并发送邮件通知
  ☆47Updated 7 years ago
• url2io / url2io-python-sdk
  ⛔ [DEPRECATED] URL2io Python SDK，用于网页信息提取，如正文提取
  ☆41Updated 4 years ago
• walker02 / yunshare
  百度云分享爬虫项目
  ☆33Updated 8 years ago
• wdc63 / chat-robot
  基于图灵机器人，科大讯飞win版，百度语音合成的语音聊天和音乐播放机器人。
  ☆22Updated 7 years ago
• Jueee / PythonWebCrawlers
  Python 网络爬虫（Web Crawlers）学习笔记。
  ☆30Updated 4 years ago
• ErisYoung / douyin_spider
  🎨One simple and easy to use crawler for DouYin（一个简单易用的抖音爬虫,可下载指定用户,挑战,音乐的视频,音频和数据)
  ☆66Updated 5 years ago
• muyangren907 / Kwai_download_script
  快手批量下载脚本
  ☆22Updated 2 years ago
• xqtbox / AutoHomeSpider_Scrapy
  爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析
  ☆62Updated 7 years ago
• BIGBird1994 / qichacha-weixin
  charles 抓包获取qichacha微信小程序接口链接，没有反爬限制
  ☆14Updated 7 years ago