speciallurain / CNKI_Patent_SVMLinks
文本分类是指在给定分类体系下 , 根据文本的内容自动确定文本类别的过程。首先我们根据scrapy爬虫根据中国知网URL的规律,爬取70多万条2014年公开的发明专利,然后通过数据清洗筛选出了60多万条含标签数据。通过TF-IDF对60多万条本文进行词频提取,依照词频排序提取前3000个词语形成语义词典,然后根据观察设置停用词。然后再用TF-IDF的方式对每个摘要进行词频选取,通过布尔模型,对比语义词典生成文本向量。然后对标 签进行数字化转换。取90%的文本为训练集,10%的文本为测试集。用有监督学习的SVM算法对文本进行分类,(人类生活必需品、作业运输、化学冶金、纺织造纸、固定建筑物、机械工程、物理学、电学)分成8类
☆108Updated 7 years ago
Alternatives and similar repositories for CNKI_Patent_SVM
Users that are interested in CNKI_Patent_SVM are comparing it to the libraries listed below
Sorting:
- 利用文本挖掘技术进行新闻热点关注问题分析☆163Updated 6 years ago
- 依据香港中文大学设计的规则系统,先用小样本评论建立初始关键词库,再结合18种句式逐条匹配评论,能够快速准确地识别评论对象及情感极性。经多次迭代优化关键词库后,达到较高准确率的基础上,使用Tableau进一步分析数据,识别出客户集中 关注的商品属性、普遍好评差评的商品属性;通过…☆54Updated 7 years ago
- gensim-word2vec+svm文本情感分析☆105Updated 7 years ago
- 对舆情事件进行词云展示,对评论进行情感分析和观点抽取。情感分析基于lstm 的三分类,观点抽取基于AP 算法的聚类和MMR的抽取☆183Updated 6 years ago
- 基于python gensim 库的LDA算法 对中文进行文本分析,很难得,网上都是英文的,基本上没有中文的,需要安装jieba分词进行分词,然后去除停用词最后才能使用LDA