chinwuDebug / CNKI-Sogou_Wechat-Sogou_News-Spider
知网、搜狗微信、搜狗新闻的爬虫
☆15Updated 6 years ago
Alternatives and similar repositories for CNKI-Sogou_Wechat-Sogou_News-Spider:
Users that are interested in CNKI-Sogou_Wechat-Sogou_News-Spider are comparing it to the libraries listed below
- 文本分类是指在给定分类体系下 , 根据文本的内容自动确定文本类别的过程。首先我们根据scrapy爬虫根据中国知网URL的规律，爬取70多万条2014年公开的发明专利，然后通过数据清洗筛选出了60多万条含标签数据。通过TF-IDF对60多万条本文进行词频提取，依照词频排序提取…☆106Updated 7 years ago
- 系统从互联网爬取资讯，对热点公共事件进行检测、聚合和追踪，多维度分析事件内容，监测时间传播路径，分析用户的观点和和情绪，形成摘要、报告、图表等分析结果，实现公 共事件的舆情分析可视化系统，提供专业的舆情监测、分析和预警服务☆91Updated 6 years ago
- 依据香港中文大学设计的规则系统，先用小样本评论建立初始关键词库，再结合18种句式逐条匹配评论，能够快速准确地识别评论对象及情感极性。经多次迭代优化关键词库后，达到较高准确率的基础上，使用Tableau进一步分析数据，识别出客户集中关注的商品属性、普遍好评差评的商品属性；通过…☆53Updated 7 years ago
- self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer，基于关键词的历时百度搜索指数自动采集☆41Updated 6 years ago
- 用python判断微博用户的影响力☆52Updated 9 years ago
- 金融问答平台文本数据采集/爬取，数据源涉及上交所，深交所，全景网及新浪股吧☆39Updated 7 years ago
- self complemented WeiboIndexSpyder based on Selenium ，新浪微博指数(微指数)采集，包括综合指数，移动端指数，PC端指数☆31Updated 6 years ago
- 对汽车之家论坛里的评论数据处理和分析，利用用户潜在行为数据得出用户行为特征，采用LDA主题模型得出用户评论的主题特征，采用Word2Vec词向量模型得出用户评论的文本内容特征，采 用K-Means聚类得出水军文本类别，结合用户行为特征，最终实现了对网络水军的识别。☆24Updated 5 years ago
- 微博关键词搜索爬虫、微博爬虫、链家房产爬虫、新浪新闻爬虫、腾讯招聘爬虫、招投标爬虫☆37Updated 6 years ago
- 线下爬虫设计 舆情新闻系统 LDA主题分类 关键字提取 实现一个文本分类器☆16Updated 5 years ago
- 知网爬虫cnkispider，输入关键字爬取知网检索数据☆34Updated 7 years ago
- Simple examples of text data visualization. 文本人物可视化，词云、人物关系图谱☆112Updated 7 years ago
- 极简爬虫工作流☆40Updated last year
- 关于百度旅游、大众点评、驴妈妈、猫途鹰、携程的评论爬虫☆23Updated 6 years ago
- 基于分布式爬虫，采集互联网公开来源的金融类新闻和文档类文本； 基于文本挖掘技术，进行无监督/半监督学习的数据ETL与特征工程； 基于金融数据挖掘技术，进行宏观经济分析，基本面分析与行业分析☆102Updated 6 years ago
- 爬取京东商品所有评论，利用情感分析，判断商品是否值得买☆61Updated 5 years ago
- 携程/榛果民宿实时评论挖掘软件，包含数据的实时采集/数据清洗/结构化保存/ UGC 数据主题提取/情感分析/后结构化可视化等技术的综合性演示 Demo。基于在线民宿 UGC 数据的意见挖掘项目，包含数据挖掘和 NLP 相关的处理，负责数据采集、主题抽取、情感分析等任务。主要…☆75Updated 4 years ago
- 新浪热门微博爬虫，外加词云分析。☆20Updated 7 years ago
- 搜索引擎关键词排位爬虫，包括百度，搜狗，360的搜索引擎关键词排位爬虫，关键词从百度热词中取得，排位分别从三个搜索引擎中抓取。☆19Updated 5 years ago
- 基于 Scrapy 的新闻智能分类微信小程序，是一个文本分类相关的应用，目的是打造出一个可以对新闻进行智能分类的微信小程序。技术栈：Python + Scrapy + MongoDB + scikit-learn + Flask + 微信小程序，涉及爬虫、文本分类、Web …☆62Updated 5 years ago
- 利用文本挖掘技术进行新闻热点关注问题分析☆161Updated 6 years ago
- 豆瓣Top250影评爬虫（用于情感分析语料）☆22Updated 2 years ago
- 计算新闻文本类情感分析（采用TF-IDF，余弦距离，情感依存等算法）☆58Updated 7 years ago
- 今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。☆71Updated 5 years ago
- 以nlp中情感分析为例，从没有打过标签的语料开始一步步教你怎么去打标签，然后分别以传统的机器学习模型SVM和深度学习模型LSTM去建模。☆34Updated 5 years ago
- 用于发现热议事件的新闻文本聚类算法的python实现☆35Updated 8 years ago
- 徒手实现定时爬取知乎，从中发掘有价值的信息，并可视化爬取的数据作网页展示。☆65Updated 2 years ago
- This is a small NLP project "E-commerce Title Data Similarity Matching System". The usage methods are: tfidf+word bag model, cosine simil…☆25Updated 4 years ago
- 文本热点挖掘，基于DBSCAN聚类模型，对文本的热点事件进行挖掘☆43Updated 4 years ago
- 游客旅行评论爬虫 + 词频分析 + 情感分析（使用达观数据API）☆23Updated 7 years ago