Alternatives and similar repositories for crawler:

Users that are interested in crawler are comparing it to the libraries listed below

• xingag / weixin_spider
  爬取微信公众号文章
  ☆28Updated 5 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆118Updated 6 years ago
• jin10086 / pachong
  一些爬虫的代码
  ☆147Updated 6 years ago
• happyjared / python-learning
  Those years of learning Python - 这些年学习的Python
  ☆114Updated 5 years ago
• Jaysong2012 / tutorial
  Scrapy爬虫实战系列，从零开始爬取腾讯百度淘宝知乎各大网站内容 \n 12306刷票脚本系列
  ☆82Updated 5 years ago
• demoyhui / Spider
  Spider项目将会不断更新本人学习使用过的爬虫方法！！！
  ☆16Updated 7 years ago
• pig6 / taobao_spider
  爬取淘宝商品信息
  ☆144Updated 5 years ago
• Germey / Weibo
  Weibo Spider
  ☆48Updated 7 years ago
• Winniekun / spider
  powered by python3( simple learning of spider) 百度文库；网易云歌曲； 豆瓣电影； GitHub； 京东； QQ空间； 天气； vip解析助手； TED文本内容； wifi破解脚本； 必应图片设置为桌面等爬取
  ☆150Updated 5 years ago
• HITFRobot / happy-spiders
  🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。
  ☆267Updated 6 years ago
• qqxx6661 / scrapy-yzd
  该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。
  ☆35Updated 5 years ago
• xiaosimao / wx_code
  公众号文章代码
  ☆62Updated 6 years ago
• zhanghe06 / news_spider
  新闻抓取（微信、微博、头条...）
  ☆221Updated 2 years ago
• Germey / TaobaoProduct
  Selenium Demo of Taobao Product
  ☆81Updated 6 years ago
• guapier / zufang
  租房爬虫，基于flask，采用apscheduler定时任务，通过微信，定时给用户推送想要的租房信息
  ☆14Updated 5 years ago
• changetjut / ProxySpider
  爬取http://www.xicidaili.com/上代理IP，并验证代理可用性
  ☆143Updated 5 years ago
• Python3WebSpider / ScrapyUniversal
  Scrapy Universal Spider
  ☆56Updated 7 years ago
• Yanxueshan / Scrapy-Redis-Zhihu
  基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等
  ☆56Updated 5 years ago
• HeLiangHIT / douyin_downloader
  抖音视频下载器，批量下载自己喜欢过的视频/上传的视频/关注用户发布的视频/关注用户喜欢的视频。当前已经无法爬取，项目暂时废弃，只能用于学习了。
  ☆189Updated 2 years ago
• xiaosimao / AiSpider
  爬虫轻型框架
  ☆230Updated 6 years ago
• Wangler2333 / bilibili_video_stat
  爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析
  ☆65Updated 6 years ago
• Germey / TouTiao
  TouTiao Spider Demo
  ☆176Updated 5 years ago
• Python3WebSpider / Weixin
  Sougou Weixin Spider Using Proxy
  ☆86Updated 3 years ago
• yyyy777 / crawler
  python爬虫练习
  ☆110Updated 5 years ago
• ioiogoo / scrapy-monitor
  scrapy-monitor，实现爬虫可视化，监控实时状态
  ☆109Updated 8 years ago
• leo8916 / wxhub
  微信公众号-文章-无限制抓取
  ☆158Updated 6 years ago
• Germey / Weixin
  Weixin Proxy Spider Demo
  ☆33Updated 7 years ago
• zhangslob / Taobao_duoshou
  使用Scrapy采集淘宝数据，Flask展示
  ☆65Updated 6 years ago
• TM0831 / Spiders
  各种大小爬虫集合
  ☆238Updated 4 years ago
• 1033020837 / Bilibili
  下载B站视频到本地
  ☆66Updated 5 years ago