lrcUnlimited / check_file_systemLinks
simhash算法实现海量内容查重
☆14Updated 9 years ago
Alternatives and similar repositories for check_file_system
Users that are interested in check_file_system are comparing it to the libraries listed below
Sorting:
- Event monitor based on online news corpus including event storyline and analysis，基于给定事件关键词，采集事件资讯，对事件进行挖掘和分析。☆153Updated 7 years ago
- self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer，基于关键词的历时百度搜索指数自动采集☆42Updated 7 years ago
- 从门户网站爬取新闻的摘要-标题对使用seq2seq根据摘要生成标题☆45Updated 8 years ago
- self complemented WeiboIndexSpyder based on Selenium ，新浪微博指数(微指数)采集，包括综合指数，移动端指数，PC端指数☆31Updated 7 years ago
- 依据香港中文大学设计的规则系统，先用小样本评论建立初始关键词库，再结合18种句式逐条匹配评论，能够快速准确地识别评论对象及情感极性。经多次迭代优化关键词库后，达到较高准确率的基础上，使用Tableau进一步分析数据，识别出客户集中关注的商品属性、普遍好评差评的商品属性；通过…☆57Updated 8 years ago
- 文本分类是指在给定分类体系下 , 根据文本的内容自动确定文本类别的过程。首先我们根据scrapy爬虫根据中国知网URL的规律，爬取70多万条2014年公开的发明专利，然后通过数据清洗筛选出了60多万条含标签数据。通过TF-IDF对60多万条本文进行词频提取，依照词频排序提取…☆108Updated 7 years ago
- 知乎问题及答案爬虫☆26Updated 8 years ago
- 练习题︱基于今日头条开源数据的文本挖掘☆83Updated 7 years ago
- 知识图谱问答系统☆90Updated 3 years ago
- 新闻爬虫 (腾讯,网易,新浪,今日头条,搜狐,凤凰网,腾讯滚动新闻)☆58Updated 7 years ago
- ZhidaoChatbot, a chatbot that can be an expert on the common questions like why,how,when,who,what based on the online question-answer web…☆43Updated 6 years ago
- 使用Simhash对海量文本进行去重☆12Updated 7 years ago
- 摘要、关键字、关键词组、文本相似度、分词分句（自然语言处理工具包）☆11Updated 6 years ago
- 用TF特征向量和simhash指纹计算中文文本的相似度☆216Updated 9 years ago
- 个人实现的基于Django与semantic-ui的语言计算实验平台, 功能包括自然语言综合处理,词语计算,社会热点计算,人物计算,文学画像,职位画像等社会计算功能☆29Updated 7 years ago
- self complement of baike knowledge base info-box extraction by online analysis.基于互动百科,百度百科,搜狗百科的词条infobox结构化信息抽取,百科知识的融合☆37Updated 7 years ago
- 新闻检索：爬虫定向采集3-4个网页，实现网页信息的抽取、检索和索引。网页个数不少于10个，能按时间、相关度、热度等属性进行排序，并实现相似主题的自动聚类。可以实现：有相关搜索推荐、snippet生成、结果预览(鼠标移到相关结果， 能预览)功能☆128Updated 9 years ago
- 中文问答系统：使用NLP相关技术，对搜索引擎，问答社区等进行信息抽取，文本概括等，支持通识问答，社区问答和部分专业问答☆31Updated 3 years ago
- 基于情感词典和朴素贝叶斯算法实现中文文本情感分类☆84Updated 11 years ago
- 基于标题分类的主题句提取方法可描述为: 给定一篇新闻报道, 计算标题与新闻主题词集的相似度, 判断标题是否具有提示性。对于提示性标题,抽取新闻报道中与其最相似的句子作为主题句; 否则, 综合利用多种特征计算新闻报道中句子的重要性, 将得分最高的句子作为主题句。☆40Updated 9 years ago
- An exploration for Eventline (important news Rank organized by pulic time)，针对某一事件话题下的新闻报道集合，通过使用docrank算法，对新闻报道进行重要性识别，并通过新闻报道时间挑选出时间线上重要…☆225Updated 7 years ago
- 中文文本分类，使用搜狗文本分类语料库☆125Updated 9 years ago
- A simple documentary topic analysis implement based on traditional K-means and LDA which can achieve a not-bad result. 基于Kmeans与Lda模型的多文…☆247Updated 7 years ago
- 发现新词 无监督词库生成 医学词库生成 发现未登录词☆79Updated 5 years ago
- 利用文本挖掘技术进行新闻热点关注问题分析☆168Updated 7 years ago
- Sentence Distance☆55Updated 7 years ago
- 常见中文知识图谱的链接☆22Updated 8 years ago
- 智能客服☆109Updated 6 years ago
- 利用kashgari轻松搭建文本分类模型。☆25Updated 6 years ago
- 用于发现热议事件的新闻文本聚类算法的python实现☆35Updated 9 years ago