LiuRoy / spark_splitter
spark处理大规模语料库统计词频
☆37Updated 8 years ago
Alternatives and similar repositories for spark_splitter:
Users that are interested in spark_splitter are comparing it to the libraries listed below
- 维基百科离线语料获取☆28Updated 7 years ago
- 图书名语料库。含部分电影、游戏名称。☆68Updated 9 months ago
- auto generate chinese words in huge text.☆92Updated 10 years ago
- 基于标题分类的主题句提取方法可描述为: 给定一篇新闻报道, 计算标题与新闻主题词集的相似度, 判断标题是否具有提示性。对于提示性标题,抽取新闻报道中与其最相似的句子作为主题句; 否则, 综合利用多种特征计算新闻报道中句子的重要性, 将得分最高的句子作为主题句。☆40Updated 8 years ago
- 依据香港中文大学设计的规则系统，先用小样本评论建立初始关键词库，再结合18种句式逐条匹配评论，能够快速准确地识别评论对象及情感极性。经多次迭代优化关键词库后，达到较高准确率的基础上，使用Tableau进一步分析数据，识别出客户集中关注的商品属性、普遍好评差评的商品属性；通过…☆53Updated 7 years ago
- 对中文分词jieba (python版)的注解☆89Updated 6 years ago
- self complemented WeiboIndexSpyder based on Selenium ，新浪微博指数(微指数)采集，包括综合指数，移动端指数，PC端指数☆31Updated 6 years ago
- 微博自动摘要系统 Chinese Microblog Automatic Summary System☆30Updated 5 years ago
- 针对微博的话题聚类实现☆49Updated 8 years ago
- worddict crawler and transfer for sougpuinput wordict , 搜狗输入法词库抓取与格式转换☆25Updated 6 years ago
- IdealWordCloudKit, A toolbox or kit for image-shape adjusted word cloud based on plain text, local file or web articles, 面向本地文件, 在线网页, 程序…☆37Updated 5 years ago
- 基于PageRank的TextRank方法, 可以应用于中文关键词、短语、摘要提取程序，代码使用Scala编写。☆126Updated 4 years ago
- 使用３w多唐诗训练好的lstm,能够自动生成诗词和藏头诗☆54Updated 8 years ago
- This is a word2vec for Chinese douban movie reviews 在豆瓣电影影评上进行word2vec, 一个中文语料word2vec☆48Updated 7 years ago
- Train Wikidata with word2vec for word embedding tasks☆123Updated 6 years ago
- 中文相关词典和语料库。☆169Updated 10 years ago
- 物种名称语料库。植物名,动物名。☆45Updated 9 months ago
- self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer，基于关键词的历时百度搜索指数自动采集☆41Updated 6 years ago
- self implement of NLP toolkit 个人实现NLP汉语自然语言处理组件，提供基于HMM与CRF的分词，词性标注，命名实体识别接口，提供基于CRF的依存句法接口。☆52Updated 6 years ago
- self complemented SpellCorrection based pinyin similairity, edit distance ，基于拼音相似度与编辑距离的查 询纠错。☆80Updated 2 years ago
- 机器学习文本分类器☆47Updated 8 years ago
- 转换搜狗拼音词库为txt文件☆51Updated 7 years ago
- 成语接龙☆48Updated 5 months ago
- 此文本分类项目主要面向机器学习初学者和文本分类效果测试者，项目内部含有朴素贝叶斯，余弦定理，逻辑回归多种分类算法以及mm，rmm分词器，同时从某新闻站点爬取了多个分类共6000多篇文章，以及一个中文词典。项目方便自由拓展各种分类器和分词器，并通过组装测试分类效果。☆35Updated 7 years ago
- 对红楼梦的各回目进行分类☆36Updated 7 years ago
- 练习题︱基于今日头条开源数据的文本挖掘☆84Updated 6 years ago
- 微博爬虫。通过调用weibo api，而非暴力爬取的方式获取信息。☆32Updated 8 years ago
- A Public Corpus for Machine Learning☆44Updated 6 years ago
- Event monitor based on online news corpus including event storyline and analysis，基于给定事件关键词，采集事件资讯，对事件进行挖掘和分析。☆153Updated 6 years ago