pyunits / pyunit-newword
中文新词发现算法PNW算法,可以识别任意长度的新词。
☆15Updated last year
Alternatives and similar repositories for pyunit-newword:
Users that are interested in pyunit-newword are comparing it to the libraries listed below
- self complemented SpellCorrection based pinyin similairity, edit distance ,基于拼音相似度与编辑距离的查询纠错。☆79Updated 2 years ago
- 专业领域词库构建/中文新词发现/专业词库发现☆29Updated 5 years ago
- 微调预训练语言模型(BERT、Roberta、XLBert等),用于计算两个文本之间的相似度(通过句子对分类任务转换),适用于中文文本☆89Updated 4 years ago
- ZhidaoChatbot, a chatbot that can be an expert on the common questions like why,how,when,who,what based on the online question-answer web…☆42Updated 5 years ago
- self complement of baike knowledge base info-box extraction by online analysis.基于互动百科,百度百科,搜狗百科的词条infobox结构化信息抽取,百科知识的融合☆35Updated 6 years ago
- Quick run NLP in many task 快速运行分类、序列标注、匹配、生成等NLP任务的Tensorflow框架 (中文 NLP 支持分布式)☆30Updated 4 years ago
- Sentence-Transformers Information Retrieval example on Chinese☆29Updated 11 months ago
- 发现新词 无监督词库生成 医学词库生成 发现未登录词☆77Updated 4 years ago
- 基于检索的任务型多轮对话☆77Updated 4 years ago
- NLP tools, word segmentation, sentence segmentation, New-Word-Discovery,新词发现☆25Updated 11 months ago
- baike schema crawler for baidu baike , hudongbaike. 面向百度百科与互动百科的概念分类体系抓取脚本☆32Updated 6 years ago
- 本项目由三个模块构成。意图识别:判断用户的意图是业务型还是闲聊型;模型检索:该部分构建一个语料库,当用户 发起新的query(通过意图识别判断为业务型对话)时,为用户匹配query检索的最佳response,使用HSWN进行召回(粗排), 然后构建句子的相似度,并利用Lig…☆10Updated 3 years ago
- Translation model based on sequence to sequence model. 基于seq2seq模型的翻译模型demo☆17Updated 6 years ago
- 文本相似性☆23Updated 5 years ago
- 基于意图识别和命名实体识别的多轮对话场景设计☆37Updated 5 years ago
- 基于语义理解、知识图谱的聊天机器人☆28Updated 5 years ago
- 基于20W金融资讯训练得到的词向量☆25Updated 7 years ago
- 开课吧&后厂理工学院_百度NLP项目2:试题数据集多标签文本分类 Models: FastText TextCNN GCN BERT et al.☆47Updated 5 years ago
- benchmark of KgCLUE, with different models and methods☆27Updated 3 years ago
- 1.4亿通用知识图谱问答☆17Updated 4 years ago
- chinese anti semantic word search interface based on dict crawled from online resources, ChineseAntiword,针对中文词语的反义词查询接口☆59Updated 6 years ago
- self implement of NLP toolkit 个人实现NLP汉语自然语言处理组件,提供基于HMM与CRF的分词,词性标注,命名实体识别接口,提供基于CRF的依存句法接口。☆52Updated 6 years ago
- Self complemented Word Collocation using MI method which is tested to be effective..基于互信息算法的词语搭配抽取☆28Updated 6 years ago
- 手动实现Elasticsearch的倒排索引以及BM25算法☆46Updated 6 years ago
- 文本标注工具,给文本打标签☆21Updated 5 years ago
- 京东/淘宝客服对话数据公开,seq2seq生成模型设计对话系统获第二名☆41Updated 2 years ago
- 利用文本分析算法和Python脚本,自动纠正word中的英语单词拼写错误☆47Updated 6 years ago
- 个人实现的基于Django与semantic-ui的语言计算实验平台, 功能包括自然语言综合处理,词语计算,社会热点计算,人物计算,文学画像,职位画像等社会计算功能☆29Updated 6 years ago
- 基于 TensorFlow & PaddlePaddle 的通用序列标注算法库(目前包含 BiLSTM+CRF, Stacked-BiLSTM+CRF 和 IDCNN+CRF,更多算法正在持续添加中)实现中文分词(Tokenizer / segmentation)、词性标注…☆84Updated 2 years ago
- 基于RNN、CNN、XGboost的问答系统意图识别模块☆34Updated 6 years ago