Alternatives and similar repositories for crawers

Users that are interested in crawers are comparing it to the libraries listed below

• dataabc / weiboPR
  用python判断微博用户的影响力
  ☆53Updated 9 years ago
• maoqyhz / TextCharactervVisualization
  Simple examples of text data visualization. 文本人物可视化，词云、人物关系图谱
  ☆111Updated 7 years ago
• blackAndrechen / taobao_crawled
  淘宝爬虫命令行版，指定爬取淘宝商品和评论，利用selenium爬取商品信息，requests爬取评论信息。
  ☆94Updated 5 years ago
• starFalll / Spider
  新浪微博爬虫(Sina weibo spider)，百度搜索结果 爬虫
  ☆195Updated 2 years ago
• gaussic / weibo_wordcloud
  根据关键词抓取微博数据，再生成词云
  ☆220Updated 7 years ago
• qiuqingyu / CNKICrawler
  中国知网爬虫
  ☆156Updated 8 years ago
• DWJWendy / Weibo_Spider
  微博爬虫：输入对应的爬取账号ID，爬取微博内容/时间/微博名/转发数/点赞数/评论数
  ☆42Updated 7 years ago
• HEUDavid / WeiboSpider
  微博爬虫 有问题欢迎提出来
  ☆17Updated 6 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆72Updated 6 years ago
• Jacen789 / HotNewsAnalysis
  利用文本挖掘技术进行新闻热点关注问题分析
  ☆163Updated 6 years ago
• KaidiGuo / keyword_based_Sina_weibo_crawler
  A web crawler for Sina, search and retrieve microblogs that contain certain keywords 一个简单的python爬虫实践，爬取包含关键词的新浪微博
  ☆99Updated 6 years ago
• qinyuenlp / WeiboSpider
  基于selenium的轻量级新浪微博爬虫，可实现：1.后台自动爬取微博搜索结果/2.按时间段爬取搜索结果/3.爬取用户基本信息
  ☆51Updated 5 years ago
• zhangslob / awesome_crawl
  腾讯新闻、知乎话题、微博粉丝，Tumblr爬虫、斗鱼弹幕、妹子图爬虫、分布式设计等
  ☆296Updated 3 months ago
• sixs / wenshu_spider
  中国裁判文书网爬虫(2018-08-28更新)
  ☆345Updated 2 years ago
• dingmyu / weibo_analysis
  The python crawler which automatically crawls the original microblogs and pictures of the specified user, analyzes the microblogs, and di…
  ☆146Updated 6 years ago
• xiaoquantou / jd_spider
  京东爬虫，可抓取京东商品信息和评论
  ☆264Updated 8 years ago
• Liangchengdeye / DaZhongdianping
  ☆105Updated 4 years ago
• SQRPI / weibo-spider
  微博用户关系爬虫
  ☆12Updated 7 years ago
• zhangxinxing / cluster_for_weibo_data
  针对微博的话题聚类实现
  ☆49Updated 9 years ago
• Google1234 / Information_retrieva_Projectl-
  新闻检索：爬虫定向采集3-4个网页，实现网页信息的抽取、检索和索引。网页个数不少于10个，能按时间、相关度、热度等属性进行排序，并实现相似主题的自动聚类。可以实现：有相关搜索推荐、snippet生成、结果预览(鼠标移到相关结果， 能预览)功能
  ☆128Updated 9 years ago
• stanleylsx / app_comments_spider
  爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。
  ☆55Updated 6 years ago
• kong36088 / ZhihuSpider
  多线程知乎用户爬虫，基于python3
  ☆249Updated 2 years ago
• renjunxiang / Text_Generate
  文本生成，可用于作诗、写小说
  ☆129Updated 7 years ago
• Jacen789 / NewsCrawler
  新闻爬虫，爬取新浪、搜狐、新华网即时财经新闻。
  ☆188Updated 5 years ago
• lemonhu / finance-qa-spider
  金融问答平台文本数据采集/爬取，数据源涉及上交所，深交所，全景网及新浪股吧
  ☆39Updated 8 years ago
• zyingzhou / music163-spiders
  网易云音乐歌曲评论爬虫
  ☆270Updated 6 years ago
• hahaha108 / MyNews
  基于scrapy-redis的分布式新闻爬虫，可同时获取腾讯、网易、搜狐、凤凰网、新浪、东方财富、人民网等各大平台新闻资讯
  ☆46Updated 7 years ago
• youthpasses / bayes_classifier
  朴素贝叶斯实现的文本分类（新闻分类）
  ☆65Updated 9 years ago
• ashora / SocialListening
  依据香港中文大学设计的规则系统，先用小样本评论建立初始关键词库，再结合18种句式逐条匹配评论，能够快速准确地识别评论对象及情感极性。经多次迭代优化关键词库后，达到较高准确率的基础上，使用Tableau进一步分析数据，识别出客户集中关注的商品属性、普遍好评差评的商品属性；通过…
  ☆56Updated 8 years ago
• CarryChang / Customer_Satisfaction_Analysis
  基于在线民宿 UGC 数据的意见挖掘项目，包含数据挖掘和NLP 相关的处理，负责数据采集、主题抽取、情感分析等任务。目的是克服用户打分和评论不一致，实时对在线民宿的满意度评测，包含在线评论采集和情感可视化分析。搭建了百度地图POI查询入口，可以进行自动化的批量查询 POI …
  ☆432Updated 10 months ago