Alternatives and similar repositories for webcrawler

Users that are interested in webcrawler are comparing it to the libraries listed below

• wzyonggege / Mzitu-Crawler
  ☆68Updated 7 years ago
• xiaosimao / AiSpider
  爬虫轻型框架
  ☆231Updated 6 years ago
• changetjut / ProxySpider
  爬取http://www.xicidaili.com/上代理IP，并验证代理可用性
  ☆144Updated 5 years ago
• Rockyzsu / getProxy
  爬虫获取http://www.xicidaili.com/ 代理服务器
  ☆84Updated 7 years ago
• chaolongzhang / sinaWeibo
  ☆206Updated 5 years ago
• facert / tumblr_spider
  汤不热 python 多线程爬虫
  ☆460Updated 4 years ago
• AlexTan-b-z / ZhihuSpider
  知乎分布式爬虫（Scrapy、Redis）
  ☆168Updated 7 years ago
• jin10086 / pachong
  一些爬虫的代码
  ☆147Updated 6 years ago
• darrenfantasy / image_crawler
  网站图片爬虫(已包含：微博，微信公众号，花瓣网)及免费IP代理 豆瓣电影爬虫
  ☆143Updated 7 years ago
• LiuXingMing / QQSpider
  QQ空间爬虫（日志、说说、个人信息）
  ☆718Updated 8 years ago
• kulovecc / jandan_spider
  使用Python3爬取煎蛋图片
  ☆178Updated 5 years ago
• Germey / Zhihu
  Zhihu User Spider
  ☆133Updated 6 years ago
• cw1997 / get-email-by-tieba
  用于抓取贴吧发帖中的手机号和电子邮箱的一个爬虫
  ☆63Updated 8 years ago
• wenhaoliang / netease-music-spider
  netease-music-spider is a sipder that you can find beautiful girlfriend or handsome boyfriend.
  ☆154Updated 5 years ago
• qiyeboy / spider_smooc
  爬取慕课网视频
  ☆363Updated 7 years ago
• xiaosimao / IP_POOL
  免费的IP代理池
  ☆661Updated 2 years ago
• Rockyzsu / zhihuToKindle
  模拟登陆知乎，获取关注问题的id下 所有答案，并推送到kindle电子书
  ☆146Updated 5 years ago
• nanxung / QQ_zone
  QQ空间爬虫，一小时20万数据
  ☆84Updated 6 years ago
• wzyonggege / Zhihu-Crawler
  知乎网爬虫
  ☆21Updated 7 years ago
• yjm12321 / zhihu-girl
  抓取知乎妹子头像
  ☆111Updated 8 years ago
• ZKeeer / IPProxy
  爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口
  ☆141Updated 7 years ago
• StephinChou / Pythonspider
  一个简单的python爬虫，原生python+BeautifulSoup
  ☆157Updated 6 years ago
• l-passer / Passer-zhihu
  用Python看知乎
  ☆176Updated 7 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆118Updated 6 years ago
• SpiderClub / smart_login
  各大网站登陆方式，有的是通过selenium登录，有的是通过抓包直接模拟登录（精力原因，目前不再继续维护）
  ☆1,012Updated 2 years ago
• luyishisi / Nyspider
  各种爬虫---大众点评,安居客，58，人人贷，拍拍贷, IT桔子,拉勾网，豆瓣,搜房网,ASO100,气象数据,猫眼电影,链家,PM25.in...
  ☆197Updated 8 years ago
• moranzcw / Zhihu-Spider
  一个获取知乎用户主页信息的多线程Python爬虫程序。
  ☆139Updated 6 years ago
• ladingwu / python_zhihu
  一个知乎爬虫，登陆，获取答案，图片
  ☆309Updated 4 years ago
• chengyumeng / spider163
  抓取网易云音乐热门评论
  ☆578Updated 2 years ago
• lx307697527 / dung_beetle
  Python从零开始，一点一滴学习爬虫。
  ☆23Updated 9 years ago