Alternatives and similar repositories for -Scrapy-

Users that are interested in -Scrapy- are comparing it to the libraries listed below

• Python3WebSpider / PyppeteerTest
  Pyppeteer Demo
  ☆43Updated 5 years ago
• SparksFly8 / Learning_Python
  本库托管了协程、SMTP邮件发送协议、 Python连接远程HBase、 异步爬虫代码和快速上手中英文词云图等代码，如果你觉得对你有用，别忘了star我哦。
  ☆57Updated 6 years ago
• tomoncle / Python-notes
  Python related technologies used in work: crawler, data analysis, timing tasks, RPC, page parsing, decorator, built-in functions, Python …
  ☆104Updated 6 years ago
• ioiogoo / scrapy-monitor
  scrapy-monitor，实现爬虫可视化，监控实时状态
  ☆110Updated 8 years ago
• Yanxueshan / Scrapy-Redis-Zhihu
  基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等
  ☆57Updated 6 years ago
• bytebuff / ScrapingOutsourcing
  ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个
  ☆176Updated 5 years ago
• happyjared / python-learning
  Those years of learning Python - 这些年学习的Python
  ☆116Updated 5 years ago
• fredfeng0326 / Scraping
  京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据
  ☆185Updated 2 years ago
• TurboWay / pybigdata
  使用 python 操作大数据的各种组件
  ☆68Updated 2 years ago
• wqh0109663 / JobSpiders
  scrapy框架爬取51job(scrapy.Spider)，智联招聘(扒接口)，拉勾网(CrawlSpider)
  ☆200Updated 2 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆117Updated 6 years ago
• iofu728 / spider
  🕷some website spider application base on proxy pool (support http & websocket)
  ☆112Updated 3 years ago
• runtangr / taoyoulue_spider
  基于mongodb存储，redis缓存，celery 实现的分布式爬虫。
  ☆13Updated 2 years ago
• Wooden-Robot / scrapy-tutorial
  Scrapy 爬虫框架教程源码
  ☆106Updated 6 years ago
• jin10086 / copyheaders
  方便的从浏览器复制浏览器头
  ☆44Updated 5 years ago
• python3xxx / Python-Every-Day
  收集Python面试&练习题
  ☆60Updated 5 years ago
• keejo125 / web_scraping_and_data_analysis
  网络爬虫和数据分析，当当、豆瓣、知乎、猫眼、微信公众号、联想官网、今日头条爬虫
  ☆124Updated 6 years ago
• kingname / SourceCodeOfBook
  《Python爬虫开发 从入门到实战》配套源代码。
  ☆370Updated 2 years ago
• speng4096 / PyLoom
  Python爬虫框架，内置微博、自如、豆瓣图书、拉勾网、拼多多等爬虫
  ☆250Updated 6 years ago
• abo123456789 / leek
  Distributed task redisqueue(最简单python分布式函数调度框架)
  ☆64Updated last year
• Germey / TouTiao
  TouTiao Spider Demo
  ☆177Updated 6 years ago
• mouday / SpiderAdmin
  SpiderAdmin 一个集爬虫Scrapy+Scrapyd爬虫项目查看 和 爬虫任务定时调度的可视化管理工具
  ☆94Updated 4 years ago
• zhangslob / Web-crawler-engineer-for-Python
  Web-crawler-engineer-for-Python
  ☆43Updated 7 years ago
• boss-mao / scrapy_enterprise_architecture
  python scrapy 企业级分布式爬虫开发架构模板
  ☆94Updated 7 years ago
• chinapnr / fishbase
  自主开发、整理的一套 Python 基础函数库，涵盖 system 系统增强包、logger 日志记录增强包、file 文件处理增强包、 date 日期处理函数包、data 数据信息处理函数包、csv 处理增强函数包、crypt 加密/编码增强包等，可减少程序开发工作量、降…
  ☆97Updated 2 years ago
• HegemonyTao / crawlProject
  今日头条 、淘宝 、微博 、斗鱼 、抖音 、哔哩哔哩 、有道翻译、steam网站以及网易云音乐爬取
  ☆60Updated 5 years ago
• pujinxiao / douban_login
  scrapy豆瓣的模拟登录和验证码处理
  ☆50Updated 8 years ago
• zhanghe06 / news_spider
  新闻抓取（微信、微博、头条...）
  ☆225Updated 2 years ago
• Python3Spiders / LianJiaSpider
  链家网爬虫
  ☆81Updated 6 years ago
• HeLiangHIT / house_price
  全国房价数据爬取+分析
  ☆109Updated 6 years ago