Alternatives and similar repositories for awesome_crawl

Users that are interested in awesome_crawl are comparing it to the libraries listed below

• zhanghe06 / news_spider
  新闻抓取（微信、微博、头条...）
  ☆225Updated 2 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆117Updated 6 years ago
• MaLei666 / Spider
  爬虫实例：微博、b站、csdn、淘宝、今日头条、知乎、豆瓣、知乎APP、大众点评
  ☆540Updated 6 years ago
• happyjared / python-learning
  Those years of learning Python - 这些年学习的Python
  ☆116Updated 5 years ago
• speng4096 / PyLoom
  Python爬虫框架，内置微博、自如、豆瓣图书、拉勾网、拼多多等爬虫
  ☆250Updated 6 years ago
• Python3WebSpider / Weibo
  Weibo Spider Using Scrapy
  ☆137Updated 7 years ago
• starFalll / Spider
  新浪微博爬虫(Sina weibo spider)，百度搜索结果 爬虫
  ☆195Updated 2 years ago
• zkqiang / zhihu-login
  知乎模拟登录，支持提取验证码和保存 Cookies
  ☆361Updated 3 years ago
• wqh0109663 / JobSpiders
  scrapy框架爬取51job(scrapy.Spider)，智联招聘(扒接口)，拉勾网(CrawlSpider)
  ☆200Updated 2 years ago
• tmliang / Taobao_Spider
  基于Scrapy的Python3分布式淘宝爬虫
  ☆193Updated 4 years ago
• pig6 / taobao_spider
  爬取淘宝商品信息
  ☆148Updated 6 years ago
• Northxw / Dianping
  大众点评店铺信息爬虫
  ☆284Updated 3 years ago
• zyingzhou / music163-spiders
  网易云音乐歌曲评论爬虫
  ☆270Updated 6 years ago
• Germey / Weibo
  Weibo Spider
  ☆49Updated 8 years ago
• AlexTan-b-z / ZhihuSpider
  知乎分布式爬虫（Scrapy、Redis）
  ☆168Updated 7 years ago
• wangy8961 / python3-concurrency-pics-02
  爬取 www.mzitu.com 全站图片，截至目前共5162个图集，16.5万多张美女图片，使用 asyncio 和 aiohttp 实现的异步版本只需要不到2小时就能爬取完成。按日期创建图集目录，保存更合理。控制台只显示下载的进度条，详细信息保存在日志文件中。支持异常处…
  ☆333Updated 6 years ago
• Python3WebSpider / TaobaoProduct
  Taobao Product Spider by Selenium
  ☆197Updated 5 years ago
• Hopetree / E-commerce-crawlers
  电商网站爬虫合集，淘宝京东亚马逊等
  ☆553Updated 6 years ago
• panxl6 / douban-movie
  豆瓣电影爬虫
  ☆337Updated 2 years ago
• Jaysong2012 / tutorial
  Scrapy爬虫实战系列，从零开始爬取腾讯百度淘宝知乎各大网站内容 \n 12306刷票脚本系列
  ☆82Updated 6 years ago
• leo8916 / wxhub
  微信公众号-文章-无限制抓取
  ☆157Updated 6 years ago
• lihansunbai / Fang_Scrapy
  这是一个作者毕业设计的爬虫，爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。
  ☆331Updated 9 years ago
• fredfeng0326 / Scraping
  京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据
  ☆187Updated 2 years ago
• lb2281075105 / Python-Spider
  豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github…
  ☆786Updated 3 years ago
• chenjiandongx / 51job-spider
  🔎 前程无忧 Python 招聘岗位信息爬取和分析
  ☆423Updated 7 years ago
• LLLzasd / python_spider
  一些 Python 爬虫练习：bilibili用户信息爬取、下载工具、房天下新房二手房redis分布式爬虫、简书全站文章爬取、观察者网站首页新闻爬取、淘宝模拟登陆、淘宝搜索商品信息爬取及可视化展示、知乎问题回答信息爬取\抖音无水印视频下载
  ☆141Updated 8 months ago
• TM0831 / Spiders
  各种大小爬虫集合
  ☆240Updated 5 years ago
• 15920036578 / JD_Spider
  京东爬虫（大量注释，对刚入门爬虫者极度友好）
  ☆71Updated 6 years ago
• cuanboy / ScrapyProject
  开始Scrapy实战如：存数据库、下载文件、爬京东、淘宝、Anti-Anti-Spider……
  ☆423Updated 7 years ago
• python3xxx / weibo_spider
  爬取微博内评论，获取评论内容和图片信息
  ☆294Updated 5 years ago