Alternatives and similar repositories for PythonWebCrawlers:

Users that are interested in PythonWebCrawlers are comparing it to the libraries listed below

• zkqiang / job-spider
  多线程爬取互联网行业常用招聘网站
  ☆29Updated 7 years ago
• Tim9Liu9 / python_spider_jobs
  python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海）各种编程岗位的职位数。
  ☆100Updated 6 years ago
• chenqing / spider
  爬一些常用的电影网站的连接
  ☆88Updated 11 years ago
• wanghuafeng / e-business
  电商爬虫系统：京东，当当，一号店，国美爬虫（代理使用）；论坛、新闻、豆瓣爬虫
  ☆106Updated 7 years ago
• pujinxiao / Lagou_spider
  拉勾网全站职位抓取CrawlSpider
  ☆27Updated 7 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆118Updated 6 years ago
• simapple / spider
  test
  ☆163Updated 2 years ago
• hk029 / LagouSpider
  【图文详解】scrapy爬虫与动态页面——爬取拉勾网职位信息（1）
  ☆82Updated 8 years ago
• littlepai / Unofficial-Zhihu-API
  深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取
  ☆78Updated 2 years ago
• qqxx6661 / scrapy-yzd
  该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。
  ☆35Updated 6 years ago
• lihansunbai / Fang_Scrapy
  这是一个作者毕业设计的爬虫，爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。
  ☆328Updated 8 years ago
• Shu-Ji / baidu-music-spider
  百度mp3全站爬虫
  ☆131Updated 11 years ago
• brantou / crawler
  爬虫, http代理, 模拟登陆!
  ☆108Updated 7 years ago
• Qutan / Spider
  社交数据爬虫
  ☆216Updated 8 years ago
• Germey / MaoYan
  MaoYan Top100 Spider
  ☆61Updated 5 years ago
• luyishisi / Nyspider
  各种爬虫---大众点评,安居客，58，人人贷，拍拍贷, IT桔子,拉勾网，豆瓣,搜房网,ASO100,气象数据,猫眼电影,链家,PM25.in...
  ☆197Updated 8 years ago
• liuslnlp / crawler_examples
  Some classic web crawler projects.一些经典的爬虫
  ☆77Updated 5 years ago
• otakurice / notravellist
  爬取去哪儿景点进行数据分析并生成热力图
  ☆74Updated 6 years ago
• da2vin / Spider_index
  爬取百度指数和阿里指数，采用selenium，存入hbase，验证码自动识别，多线程控制
  ☆32Updated 8 years ago
• ioiogoo / scrapy-monitor
  scrapy-monitor，实现爬虫可视化，监控实时状态
  ☆109Updated 8 years ago
• thsheep / mzitu_scrapy
  基于Scrapy的www.mzitu.com的全站图片下载脚本
  ☆71Updated 6 years ago
• kba977 / Scrapy_Projects
  🕷一些Scrapy爬虫的练手项目
  ☆76Updated 5 years ago
• zhangyunhao116 / Mini-Spider
  简单、实用的爬虫工具，仅需四步创建属于你的爬虫程序！
  ☆48Updated 7 years ago
• Germey / Zhihu
  Zhihu User Spider
  ☆133Updated 6 years ago
• luyishisi / WebCrawlers
  ☆36Updated 8 years ago
• Jaysong2012 / tutorial
  Scrapy爬虫实战系列，从零开始爬取腾讯百度淘宝知乎各大网站内容 \n 12306刷票脚本系列
  ☆82Updated 6 years ago
• yokonsan / dingdian
  Python爬虫和Flask实现小说网站
  ☆125Updated 6 years ago
• dengqiangxi / zhihu_spider
  知乎爬虫，用于爬取用户信息以及用户之间关系。
  ☆33Updated 2 years ago
• lcdevelop / weixin-crawler
  微信公众号批量抓取器
  ☆56Updated 8 years ago
• changetjut / ProxySpider
  爬取http://www.xicidaili.com/上代理IP，并验证代理可用性
  ☆144Updated 5 years ago