Alternatives and similar repositories for webcrawler:

Users that are interested in webcrawler are comparing it to the libraries listed below

• YeKandy / JDSpider
  使用python抓取京东全站数据（商品，店铺，分类，评论）
  ☆64Updated 2 years ago
• Tobby-star / douyin
  抖音视频下载
  ☆122Updated 6 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆71Updated 5 years ago
• alicelmx / wechat_public_spider
  通过搜狗搜索引擎爬取微信公众号文章
  ☆28Updated 7 years ago
• zhanghe06 / news_spider
  新闻抓取（微信、微博、头条...）
  ☆221Updated 2 years ago
• zjfGit / python3-scrapy-spider-phantomjs-selenium
  基于Python3的动态网站爬虫，使用selenium+phantomjs实现爬取动态网站, 本项目以爬取今日头条为例
  ☆177Updated 4 years ago
• longxiaofei / dianping
  大众点评商家评论爬虫
  ☆47Updated 5 years ago
• happyjared / python-learning
  Those years of learning Python - 这些年学习的Python
  ☆114Updated 5 years ago
• CooperMin / qichacha
  企查查企业分类信息采集
  ☆40Updated 4 years ago
• PrettyUp / Anjuke
  PyCharm+Scrapy爬取安居客楼盘信息（新盘+二手房）
  ☆16Updated 6 years ago
• Mocha-Pudding / Scrapy-Redis_Demos
  Python分布式爬虫学习笔记，各种Demo同步
  ☆13Updated 5 years ago
• ioiogoo / scrapy-monitor
  scrapy-monitor，实现爬虫可视化，监控实时状态
  ☆109Updated 8 years ago
• TTyb / tbtmGoods
  淘宝天猫商品数据抓取，代码和exe都在里面，持续更新页面中
  ☆153Updated 5 years ago
• RogerLiNing / wechat_mp
  微信公众号后台还是有很多好玩的API的， 例如搜索某个公众号的所有历史图文，或者根据关键词搜索原创的推文。
  ☆50Updated 2 years ago
• keejo125 / web_scraping_and_data_analysis
  网络爬虫和数据分析，当当、豆瓣、知乎、猫眼、微信公众号、联想官网、今日头条爬虫
  ☆117Updated 5 years ago
• tmliang / Taobao_Spider
  基于Scrapy的Python3分布式淘宝爬虫
  ☆191Updated 3 years ago
• shisiying / crawer_python
  python数据抓取的实战，基金，豆瓣顶贴,分割任务多进程下载,api数据多线程入库，淘宝大家问，阿里试用报告数据
  ☆28Updated 6 years ago
• Ckend / taobao_scrapy
  淘宝爬虫，可获得某关键词的所有商品名称、店铺、销量、评论数、图片、优惠、出货地、原价等等
  ☆37Updated 6 years ago
• wqh0109663 / JobSpiders
  scrapy框架爬取51job(scrapy.Spider)，智联招聘(扒接口)，拉勾网(CrawlSpider)
  ☆198Updated last year
• 15920036578 / JD_Spider
  京东爬虫（大量注释，对刚入门爬虫者极度友好）
  ☆71Updated 5 years ago
• Hopetree / Jobs-search
  招聘网站爬虫合集，不定期更新分支
  ☆133Updated 7 years ago
• hi-andy / article-to-mobi
  抓取网页文章，生成 mobi 格式电子书。主要便于导入 Kindle 阅读及存档。目前支持：微信公众号，知乎收藏，投资知道……
  ☆33Updated 4 years ago
• William-Sang / autohome_crawler
  使用Python requests 和 BeautifulSoup 开发爬虫。 抓取汽车之家中，汽车的基本信息（车型，品牌，报价等）
  ☆64Updated 6 years ago
• Sunshiqisky / wechat_crawler
  爬取微信公众号评论、点赞等相关信息
  ☆43Updated 6 years ago
• Hopetree / TMTools
  一个用PYQT5写的图形化的多功能电商爬虫小工具
  ☆103Updated 7 years ago
• OSinoooO / MeituanSpider
  美团爬虫，基于scrapy_redis
  ☆22Updated 5 years ago
• xrlin / DoubanPyspider
  使用Pyspider框架的豆瓣爬虫
  ☆27Updated 7 years ago
• Jaysong2012 / tutorial
  Scrapy爬虫实战系列，从零开始爬取腾讯百度淘宝知乎各大网站内容 \n 12306刷票脚本系列
  ☆82Updated 5 years ago
• evanleungc / GoldSentAnalysis
  黄金舆情数据分析
  ☆46Updated 7 years ago
• lihansunbai / Fang_Scrapy
  这是一个作者毕业设计的爬虫，爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。
  ☆323Updated 8 years ago