Alternatives and similar repositories for -scrapy-:

Users that are interested in -scrapy- are comparing it to the libraries listed below

• FanhuaandLuomu / captcha_break_keras
  keras theano 验证码破解 字母+数字
  ☆61Updated 7 years ago
• cocoakekeyu / autoproxy
  一个用于scrapy爬虫的自动代理中间件
  ☆148Updated 7 years ago
• PyCN / Ugly-Distributed-Crawler
  基于Redis实现的简单到爆的分布式爬虫
  ☆14Updated 7 years ago
• AoboJaing / thirdDemo
  python3 scrapy crawler crawl taobao.com, data import to MySQL
  ☆21Updated 8 years ago
• awolfly9 / job_wxbot
  微信机器人抓取并分发招聘信息
  ☆25Updated 8 years ago
• HITFRobot / happy-spiders
  🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。
  ☆267Updated 6 years ago
• runtangr / taoyoulue_spider
  基于mongodb存储，redis缓存，celery 实现的分布式爬虫。
  ☆13Updated 2 years ago
• Germey / AdslProxy
  ☆17Updated 7 years ago
• LiuRoy / spider_docker
  为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq
  ☆36Updated 9 years ago
• 521xueweihan / holleworld
  基于tornado框架的开源web app
  ☆39Updated 5 years ago
• backto17 / SinaHouseCrawler
  基于scrapy,scrapy-redis实现的一个分布式网络爬虫,爬取了新浪房产的楼盘信息及户型图片,实现了常用的爬虫功能需求.
  ☆40Updated 8 years ago
• Jueee / PythonWebCrawlers
  Python 网络爬虫（Web Crawlers）学习笔记。
  ☆30Updated 4 years ago
• PyCN / wechat-spider
  微信公众号爬虫
  ☆15Updated 8 years ago
• luyishisi / WebCrawlers
  ☆36Updated 8 years ago
• 521xueweihan / PySpider
  Python爬虫的学习历程
  ☆51Updated 7 years ago
• HiddenStrawberry / meituan-movie-price-crawler
  美团电影/猫眼价格爬虫，借助tesseractocr破解美团电影价格图片混淆
  ☆28Updated 7 years ago
• Germey / TaobaoUser
  Get anonymous user of Taobao
  ☆49Updated 8 years ago
• zhujiajunup / Jpider
  ☆27Updated 7 years ago
• h2pl / pyspider
  知乎爬虫和v2ex爬虫的实现。使用python的pyspider爬虫进行开发，主要爬取知乎的问题和评论，以及v2ex的帖子。数据转储到mysql数据库，用于zhihu项目的使用。
  ☆68Updated 6 years ago
• 521xueweihan / note
  好记性不如烂笔头
  ☆14Updated 7 years ago
• cjxhaaa / cookies_pool-personal-
  个人建立的新浪登陆cookies池，用于爬取新浪微博(项目很久没有维护了，有兴趣的朋友可以当做参考吧)
  ☆23Updated 11 months ago
• FanhuaandLuomu / QQZoneParse
  模拟登陆QQ空间，获取好友信息，并做分析（年龄分布、性别分布、地址分布等）具体参见说明文档及1049755192文件夹下的分析结果展示。
  ☆14Updated 7 years ago
• rfyiamcool / jd_product_spider
  京东商品爬虫服务
  ☆14Updated 7 years ago
• Germey / MaoYan
  MaoYan Top100 Spider
  ☆61Updated 5 years ago
• ToonoW / SpiderManager
  爬虫管理平台
  ☆31Updated 2 years ago
• xiaosimao / weibo_spider
  ☆20Updated 7 years ago
• saintic / flask-thirdLogin-demo
  使用Flask的第三方社会化账号登录演示样例，QQ、Weibo、GitHub等。
  ☆21Updated 8 years ago
• FanhuaandLuomu / SINA_Spider
  新浪微博爬虫：登录、关键词微博查询、微博监控
  ☆32Updated 7 years ago
• A1014280203 / Ugly-Distributed-Crawler
  基于Redis实现的简单到爆的分布式爬虫
  ☆46Updated 7 years ago
• PyCN / lagou_spider
  拉勾网爬虫, 利用通过微信公众号推送数据
  ☆8Updated 8 years ago