Alternatives and similar repositories for Crawler:

Users that are interested in Crawler are comparing it to the libraries listed below

• CnPaMeng / WeiboMsgBackupGUI
  中国爬盟出品的微博备份神器：用于备份新浪微博指定用户全部微博的备份工具
  ☆191Updated 11 years ago
• ankanch / tieba-zhuaqu
  百度贴吧分布式爬虫，用于贴吧数据挖掘。从贴吧维度和用户维度进行数据分析
  ☆76Updated 5 years ago
• jingzhou123 / tieba-crawler
  简单的一逼的，到处硬编码的，有可能泄露个人信息的百度贴吧爬虫，基于scrapy.
  ☆32Updated 8 years ago
• csuldw / WSpider
  爬虫练习：新浪微博用户数据爬取、模拟知乎登陆
  ☆127Updated 8 years ago
• brantou / crawler
  爬虫, http代理, 模拟登陆!
  ☆108Updated 7 years ago
• Germey / Weibo
  Weibo Spider
  ☆49Updated 7 years ago
• PyCN / dianping_data
  python爬虫实战练习手册
  ☆71Updated 7 years ago
• hk029 / LagouSpider
  【图文详解】scrapy爬虫与动态页面——爬取拉勾网职位信息（1）
  ☆82Updated 8 years ago
• gnemoug / sina_reptile
  获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写，多进程爬取，将数据存储在了mongodb中
  ☆473Updated 12 years ago
• ZKeeer / IPProxy
  爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口
  ☆140Updated 7 years ago
• intfloat / sina-weibo-crawler
  方便扩展的新浪微博爬虫
  ☆64Updated 5 years ago
• Aqua-Dream / Tieba_Spider
  百度贴吧爬虫(基于scrapy和mysql)
  ☆407Updated 3 years ago
• zhanghe06 / news_spider
  新闻抓取（微信、微博、头条...）
  ☆225Updated 2 years ago
• kong36088 / ZhihuSpider
  多线程知乎用户爬虫，基于python3
  ☆248Updated last year
• hailong0707-zz / spider_news_all
  Scrapy Spider for 各种新闻网站
  ☆108Updated 9 years ago
• widy28 / scrapy-taobao
  scrapy模拟淘宝登陆
  ☆74Updated 4 years ago
• Germey / TaobaoMM
  WebSpider of TaobaoMM developed by PySpider
  ☆107Updated 8 years ago
• YaboSu / zhihu_crawler
  使用python 3实现的一个知乎内容的爬虫，依赖requests、BeautifulSoup4。
  ☆38Updated 8 years ago
• LiuXingMing / Tmall1212
  天猫双12爬虫，附商品数据。
  ☆199Updated 8 years ago
• nladuo / taobao_bra_crawler
  a taobao web crawler just for fun.
  ☆196Updated 6 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆71Updated 5 years ago
• jackgitgz / CnblogsSpider
  用scrapy采集cnblogs列表页爬虫
  ☆275Updated 9 years ago
• wangshunping / weibo_spider
  graduate project, a weibo spider to find some interesting information such as "In social network , people tend to be happy or sad."
  ☆273Updated 8 years ago
• moxiegushi / zhihu
  知乎爬虫（验证码自动识别）
  ☆536Updated 6 years ago
• yoghurtjia / Zhihu_bigdata
  使用scrapy和pandas完成对知乎300w用户的数据分析。首先使用scrapy爬取知乎网的300w，用户资料，最后使用pandas对数据进行过滤，找出想要的知乎大牛，并用图表的形式可视化。
  ☆158Updated 7 years ago
• AlexTan-b-z / ZhihuSpider
  知乎分布式爬虫（Scrapy、Redis）
  ☆168Updated 7 years ago
• huaisha1224 / zhihuCollection_Save
  一键保存知乎收藏到Evernote/印象笔记/OneNote/有道云笔记
  ☆132Updated 5 years ago
• xqtbox / AutoHomeSpider_Scrapy
  爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析
  ☆62Updated 7 years ago
• dataabc / weiboPR
  用python判断微博用户的影响力
  ☆52Updated 9 years ago
• mazzzystar / BaiduCrawler
  Sample of using proxies to crawl baidu search results.
  ☆118Updated 7 years ago