Alternatives and similar repositories for crawers:

Users that are interested in crawers are comparing it to the libraries listed below

• liuhuanyong / WeiboIndexSpyder
  self complemented WeiboIndexSpyder based on Selenium ，新浪微博指数(微指数)采集，包括综合指数，移动端指数，PC端指数
  ☆31Updated 6 years ago
• ashora / SocialListening
  依据香港中文大学设计的规则系统，先用小样本评论建立初始关键词库，再结合18种句式逐条匹配评论，能够快速准确地识别评论对象及情感极性。经多次迭代优化关键词库后，达到较高准确率的基础上，使用Tableau进一步分析数据，识别出客户集中关注的商品属性、普遍好评差评的商品属性；通过…
  ☆53Updated 7 years ago
• dataabc / weiboPR
  用python判断微博用户的影响力
  ☆52Updated 8 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆71Updated 5 years ago
• longxiaofei / dianping
  大众点评商家评论爬虫
  ☆47Updated 5 years ago
• liuhuanyong / BaiduIndexSpyder
  self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer，基于关键词的历时百度搜索指数自动采集
  ☆41Updated 6 years ago
• HEUDavid / WeiboSpider
  微博爬虫 有问题欢迎提出来
  ☆17Updated 5 years ago
• maoqyhz / TextCharactervVisualization
  Simple examples of text data visualization. 文本人物可视化，词云、人物关系图谱
  ☆112Updated 7 years ago
• xqtbox / AutoHomeSpider_Scrapy
  爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析
  ☆62Updated 7 years ago
• qinyuenlp / WeiboSpider
  基于selenium的轻量级新浪微博爬虫，可实现：1.后台自动爬取微博搜索结果/2.按时间段爬取搜索结果/3.爬取用户基本信息
  ☆49Updated 5 years ago
• SQRPI / weibo-spider
  微博用户关系爬虫
  ☆12Updated 7 years ago
• Dengqlbq / ZhiHuSpider
  知乎问题及答案爬虫
  ☆26Updated 7 years ago
• blackAndrechen / taobao_crawled
  淘宝爬虫命令行版，指定爬取淘宝商品和评论，利用selenium爬取商品信息，requests爬取评论信息。
  ☆89Updated 4 years ago
• zhangyunhao116 / Mini-Spider
  简单、实用的爬虫工具，仅需四步创建属于你的爬虫程序！
  ☆48Updated 7 years ago
• Germey / Weibo
  Weibo Spider
  ☆48Updated 7 years ago
• duolaAOA / weibo_topic
  微博话题关键词,个人微博采集, 微博博文一键删除 selenium获取cookie,requests处理
  ☆31Updated 6 years ago
• F-debug / NewsSpider
  该项目是基于Scrapy框架的Python新闻爬虫，能够爬取网易，搜狐，凤凰和澎湃网站上的新闻，将标题，内容，评论，时间等内容整理并保存到本地
  ☆37Updated 5 years ago
• starFalll / Spider
  新浪微博爬虫(Sina weibo spider)，百度搜索结果 爬虫
  ☆194Updated last year
• Yanxueshan / Scrapy-Redis-Zhihu
  基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等
  ☆56Updated 5 years ago
• Little-girl-1992 / ShortTextClassification
  该项目是短文本分类，目前应用于新闻标签的分类
  ☆32Updated 7 years ago
• qqxx6661 / scrapy-yzd
  该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。
  ☆35Updated 5 years ago
• Y1ran / Weibo_Light_Spyder_2019
  微博轻量级爬虫-2019可用-可扩展
  ☆50Updated 5 years ago
• Jacen789 / HotNewsAnalysis
  利用文本挖掘技术进行新闻热点关注问题分析
  ☆159Updated 6 years ago
• StuPeter / AutoHome_spider
  汽车之家爬虫，解决字体反爬。
  ☆52Updated 2 years ago
• kwsy / FictionAnalysis
  对小说文本进行分析，提炼小说剧情内容和人物关系
  ☆83Updated 5 years ago
• rieuse / DouyuTV
  DouyuTV弹幕，房间信息爬取，数据分析
  ☆79Updated 4 years ago
• zhangxinxing / cluster_for_weibo_data
  针对微博的话题聚类实现
  ☆49Updated 8 years ago
• xiaosimao / wx_code
  公众号文章代码
  ☆62Updated 6 years ago
• NightMarcher / zhihu-crawler
  徒手实现定时爬取知乎，从中发掘有价值的信息，并可视化爬取的数据作网页展示。
  ☆61Updated last year
• zhangslob / awesome_crawl
  腾讯新闻、知乎话题、微博粉丝，Tumblr爬虫、斗鱼弹幕、妹子图爬虫、分布式设计等
  ☆291Updated 4 years ago