Alternatives and similar repositories for webcrawler:

Users that are interested in webcrawler are comparing it to the libraries listed below

• longxiaofei / dianping
  大众点评商家评论爬虫
  ☆48Updated 5 years ago
• pujinxiao / wechat_sogou_crawl
  基于搜狗微信的公众号文章爬虫
  ☆25Updated 8 years ago
• keejo125 / web_scraping_and_data_analysis
  网络爬虫和数据分析，当当、豆瓣、知乎、猫眼、微信公众号、联想官网、今日头条爬虫
  ☆122Updated 5 years ago
• whbing / taobaospider
  scrapy爬虫天猫（淘宝）店铺店名、月销售量、价格等详细信息。涉及分类大类30多个，小类数百个。总爬取结果50万+条
  ☆57Updated 7 years ago
• Wangler2333 / bilibili_video_stat
  爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析
  ☆66Updated 6 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆71Updated 5 years ago
• zhanghe06 / news_spider
  新闻抓取（微信、微博、头条...）
  ☆225Updated 2 years ago
• alicelmx / wechat_public_spider
  通过搜狗搜索引擎爬取微信公众号文章
  ☆28Updated 7 years ago
• happyjared / python-learning
  Those years of learning Python - 这些年学习的Python
  ☆115Updated 5 years ago
• mindawei / p2p
  一个基于 python 的 flask 框架的资讯网站， http://119.29.100.53:8086/
  ☆32Updated 6 years ago
• chjw8016 / www_job_com
  爬取拉勾、BOSS直聘、智联招聘、51job、赶集招聘、58招聘等职位信息
  ☆71Updated 7 years ago
• shisiying / crawer_python
  python数据抓取的实战，基金，豆瓣顶贴,分割任务多进程下载,api数据多线程入库，淘宝大家问，阿里试用报告数据
  ☆28Updated 6 years ago
• zhangslob / Taobao_duoshou
  使用Scrapy采集淘宝数据，Flask展示
  ☆65Updated 7 years ago
• Ckend / taobao_scrapy
  淘宝爬虫，可获得某关键词的所有商品名称、店铺、销量、评论数、图片、优惠、出货地、原价等等
  ☆36Updated 6 years ago
• tmliang / Taobao_Spider
  基于Scrapy的Python3分布式淘宝爬虫
  ☆192Updated 4 years ago
• Hopetree / Jobs-search
  招聘网站爬虫合集，不定期更新分支
  ☆138Updated 7 years ago
• moyuweiqing / dazhongdianping
  更新给出selenium库的爬虫，效率很高，且能直接用。 python，大众点评的爬虫，突破反爬，获取关于任意店铺的评论和评分之类的。给出破解css加密的逻辑
  ☆40Updated 4 years ago
• evanleungc / GoldSentAnalysis
  黄金舆情数据分析
  ☆49Updated 7 years ago
• Jaysong2012 / tutorial
  Scrapy爬虫实战系列，从零开始爬取腾讯百度淘宝知乎各大网站内容 \n 12306刷票脚本系列
  ☆82Updated 5 years ago
• OSinoooO / MeituanSpider
  美团爬虫，基于scrapy_redis
  ☆22Updated 5 years ago
• CooperMin / qichacha
  企查查企业分类信息采集
  ☆43Updated 4 years ago
• xgkmxxx / Guazi
  scrapy抓取，mysql储存，django展示
  ☆12Updated 9 years ago
• Yanxueshan / Scrapy-Redis-Zhihu
  基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等
  ☆56Updated 5 years ago
• lcdevelop / weixin-crawler
  微信公众号批量抓取器
  ☆56Updated 8 years ago
• TTyb / tbtmGoods
  淘宝天猫商品数据抓取，代码和exe都在里面，持续更新页面中
  ☆156Updated 5 years ago
• llzhi001 / Python-spider-1
  爬虫+数据分析可视化。爬取的网站有：知乎，淘宝，新浪微博，微信公众号，猫途鹰，今日头条，虎嗅网，人人都是产品经理，猫眼电影
  ☆72Updated 6 years ago
• LoseNine / TopList-python
  今日热榜项目TopList的Python实现，异步爬取微博热榜，知乎，V2EX，GIthub，通过Flask展示。
  ☆70Updated 5 years ago
• LemonBottom / ErShouFang
  抓取链家，我爱我家，房天下，中原地产房产中介二手房在售数据，做出数据可视化图片，并做简单的数据分析
  ☆12Updated 6 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆118Updated 6 years ago
• wqh0109663 / JobSpiders
  scrapy框架爬取51job(scrapy.Spider)，智联招聘(扒接口)，拉勾网(CrawlSpider)
  ☆199Updated last year