df19900725 / HFUTUtils
这是一个工具程序集合,方便我们平时对数据进行预处理。针对文本处理的内容较多。包括分词(集成了张华平分词、结巴分词)、文件处理增强(如读取文本到Map中,保存文本到Map)和语料模型(把文档转换成矩阵,就算单词数量等)
☆21Updated 6 months ago
Alternatives and similar repositories for HFUTUtils:
Users that are interested in HFUTUtils are comparing it to the libraries listed below
- 实现中文文本分类,支持文件、文本分类,基于多项式分布的朴素贝叶斯分类器。由于工作实际应用是二分类,加之考虑到每个分类属性都建立map存储词语向量可能引起的内存问题,所以目前只支持二分类。当然,直接复用这个结构扩展到多分类也是很容易。之所以自己写,主要原因是没有仔细研读mah…☆22Updated 8 years ago
- 基于本体的语义搜索引擎-Answer-V0.9 问答系统☆81Updated 2 years ago
- 中文分词、统计词频、比对文本相似度☆38Updated 5 years ago
- 基于Map/Reduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类☆77Updated 11 years ago
- 基于词典的负面舆情信息评分算法。☆26Updated 10 years ago
- 以知乎日报为数据源,全流程实践一个机器学习过程,从数据获取到数据分析,对知乎日报进行聚类、分类,并可视化这一过程☆17Updated 9 years ago
- 针对手机评论数据的情感挖掘与分析项目,基于依存句法分 析和情感词库提取特征词,并对特征词做情感极性预测标注。☆35Updated 8 years ago
- 常用文本聚类算法java实现☆15Updated 10 years ago
- 限定域问答系统包括:自动构建知识库、问句检索、基于微信平台搭建问答系统。本项目所有代码已开源。用户通过简单配置,可以实现快速自动化搭建一个比较完备的领域知识库。另外,基于微信平台如何通过配置来搭建问答系统,具体操作见readme.txt☆71Updated 8 years ago
- 一个集分布式爬虫,分布式存储,分布式计算统计分析一体的统计分析数据挖掘项目☆14Updated 7 years ago
- springBoot的简单整合neo4j☆13Updated 6 years ago
- The missing SVM-based text classification module implementing HanLP's interface☆47Updated 7 years ago
- spark tutorial for big data mining。包括app流量运营分析、als推荐、smote样本采样、RFM客户价值分群、AHP层次分析客户价值得分、手机定位数据商圈挖掘、马尔可夫智能邮件预测、时序预测、关联规则、推荐电影好友等。☆40Updated 2 years ago
- 语义、情感、相似度分析。☆58Updated 9 years ago
- ansj_parsing 依存文法&句法分析☆19Updated 7 years ago
- NBA 季后赛预测☆22Updated 8 years ago
- 新闻评论观点挖掘系统,粗粒度的分析出新闻网评观点的倾向和走势☆53Updated 9 years ago
- 1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置…☆16Updated 2 years ago
- 这是Word2vec和Doc2vec的一个应用示例:用Word2vec计算词的相似度和用doc2vec计算句子的相似度。☆26Updated 7 years ago
- ☆11Updated 7 years ago
- java编写的文本分词后利用tfidf计算每个文档的单词的tfidf值,并保存到文件中☆17Updated 7 years ago
- SpringBoot集成neo4j实现关系网创建和查询☆10Updated 6 years ago
- 这是一个使用中科院计算所分词器的历史答题系统, 能够建立简单的知识图谱, 并通过计算关联项决定答案。☆13Updated 9 years ago
- some code for spark☆17Updated 8 years ago
- 知识图谱轻量框架☆62Updated 9 years ago
- 个人实现的基于Django与semantic-ui的语言计算实验平台, 功能包括自然语言综合处理,词语计算,社会热点计算,人物计算,文学画像,职位画像等社会计算功能☆29Updated 7 years ago
- 文本分类是指在给定分类体系下 , 根据文本的内容自动确定文本类别的过程。首先我们根据scrapy爬虫根据中国知网URL的规律,爬取70多万条2014年公开的发明专利,然后通过数据清洗筛选出了60多万条含标签数据。通过TF-IDF对60多万条本文进行词频提取,依照词频排序提取…☆106Updated 7 years ago
- 此文本分类项目主要面向机器学习初学者和文本分类效果测试者,项目内部含有朴素贝叶斯,余弦定理,逻辑回归多种分类算法以及mm,rmm分词器,同时从某新闻站点爬取了多个分类共6000多篇文章,以及一个中文词典。项目方便自由拓展各种分类器和分词器,并通过组装测试分类效果。☆35Updated 7 years ago
- 知识图谱问答系统☆85Updated 2 years ago
- 对汽车之家论坛里的评论数据处理和分析,利用用户潜在行为数据得出用户行为特征,采用LDA主题模型得出用户评论的主题特征,采用Word2Vec词向量模型得出用户评论的文本内容特征,采用K-Means聚类得出水军文本类别,结合用户行为特征,最终实现了对网络水军的识别。☆24Updated 5 years ago