Alternatives and similar repositories for crawers

Users that are interested in crawers are comparing it to the libraries listed below

• blackAndrechen / taobao_crawled
  淘宝爬虫命令行版，指定爬取淘宝商品和评论，利用selenium爬取商品信息，requests爬取评论信息。
  ☆95Updated 5 years ago
• starFalll / Spider
  新浪微博爬虫(Sina weibo spider)，百度搜索结果 爬虫
  ☆197Updated 2 years ago
• maoqyhz / TextCharactervVisualization
  Simple examples of text data visualization. 文本人物可视化，词云、人物关系图谱
  ☆112Updated 8 years ago
• dingmyu / weibo_analysis
  The python crawler which automatically crawls the original microblogs and pictures of the specified user, analyzes the microblogs, and di…
  ☆146Updated 6 years ago
• dataabc / weiboPR
  用python判断微博用户的影响力
  ☆53Updated 9 years ago
• qinyuenlp / WeiboSpider
  基于selenium的轻量级新浪微博爬虫，可实现：1.后台自动爬取微博搜索结果/2.按时间段爬取搜索结果/3.爬取用户基本信息
  ☆51Updated 5 years ago
• Jacen789 / HotNewsAnalysis
  利用文本挖掘技术进行新闻热点关注问题分析
  ☆168Updated 7 years ago
• Liangchengdeye / DaZhongdianping
  ☆105Updated 5 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆72Updated 6 years ago
• gaussic / weibo_wordcloud
  根据关键词抓取微博数据，再生成词云
  ☆221Updated 8 years ago
• qiuqingyu / CNKICrawler
  中国知网爬虫
  ☆158Updated 8 years ago
• longxiaofei / dianping
  大众点评商家评论爬虫
  ☆49Updated 6 years ago
• sixs / wenshu_spider
  中国裁判文书网爬虫(2018-08-28更新)
  ☆351Updated 3 years ago
• zyingzhou / music163-spiders
  网易云音乐歌曲评论爬虫
  ☆274Updated 6 years ago
• renjunxiang / Text_Generate
  文本生成，可用于作诗、写小说
  ☆128Updated 7 years ago
• kwsy / FictionAnalysis
  对小说文本进行分析，提炼小说剧情内容和人物关系
  ☆87Updated 6 years ago
• xqtbox / AutoHomeSpider_Scrapy
  爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析
  ☆62Updated 8 years ago
• SQRPI / weibo-spider
  微博用户关系爬虫
  ☆12Updated 8 years ago
• xiaosimao / wx_code
  公众号文章代码
  ☆62Updated 6 years ago
• zhangxinxing / cluster_for_weibo_data
  针对微博的话题聚类实现
  ☆49Updated 9 years ago
• Yanxueshan / Scrapy-Redis-Zhihu
  基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等
  ☆61Updated 6 years ago
• Henryhaohao / Wenshu_Spider
  Wenshu_Spider-Scrapy框架爬取中国裁判文书网案件数据(2019-1-9最新版)
  ☆201Updated 7 years ago
• Python3WebSpider / Weibo
  Weibo Spider Using Scrapy
  ☆138Updated 8 years ago
• stanleylsx / app_comments_spider
  爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。
  ☆54Updated 7 years ago
• HEUDavid / WeiboSpider
  微博爬虫 有问题欢迎提出来
  ☆17Updated 6 years ago
• 15920036578 / JD_Spider
  京东爬虫（大量注释，对刚入门爬虫者极度友好）
  ☆72Updated 6 years ago
• DWJWendy / Weibo_Spider
  微博爬虫：输入对应的爬取账号ID，爬取微博内容/时间/微博名/转发数/点赞数/评论数
  ☆43Updated 8 years ago
• Northxw / Dianping
  大众点评店铺信息爬虫
  ☆284Updated 3 years ago
• wangbincheng / weibo_auto_operation
  微博自动化运营：自动登录，加关注，写评论，发微博
  ☆41Updated 6 years ago
• danzhewuju / DouyuSpider
  斗鱼爬虫，获取直播间真实人数信息
  ☆29Updated 7 years ago