BarryZM / dataProcessor
中英文语料数据清洗及分布式分句分词预处理工作
☆11Updated 4 years ago
Alternatives and similar repositories for dataProcessor:
Users that are interested in dataProcessor are comparing it to the libraries listed below
- 本项目由三个模块构成。意图识别：判断用户的意图是业务型还是闲聊型；模型检索：该部分构建一个语料库，当用户 发起新的query（通过意图识别判断为业务型对话）时，为用户匹配query检索的最佳response，使用HSWN进行召回（粗排）， 然后构建句子的相似度，并利用Lig…☆10Updated 4 years ago
- 基于ELMo, tensorflow的中文命名实体标注 Chinese Named Entity Recognition Based on ELMo☆21Updated 5 years ago
- 基于知识图谱的QA系统，BERT模型☆18Updated 5 years ago
- 实现基于相似度匹配和检索的问答系统☆18Updated 5 years ago
- 采用依存句法分析进行关系抽取☆21Updated 6 years ago
- 专业领域词库构建/中文新词发现/专业词库发现☆29Updated 5 years ago
- 主要是实现nlp常用网络以及结果比较，各模型的优劣势，如:FastText,TextCNN,TextRNN,TextRCNN,BiLSTM,Seq2seq,BERT,Transformer,ELMo以及Attention机制等等。☆45Updated 5 years ago
- 基于文本相似度的win10智能客服问答系统☆15Updated 5 years ago
- FastText 文本分类☆19Updated 6 years ago
- 简单实现NNLM☆25Updated 6 years ago
- pytorch版的命名实体识别，LSTM和LSTM_CRF☆25Updated 5 years ago
- BERT微调在机器翻译上的应用，哎哟，效果贼好。☆47Updated 4 years ago
- Self complemented Key infomation extraction including keywords, abstract from text using algorithm like textrank ,tfidf 基于Textrank算法的文本摘要…☆53Updated 6 years ago
- 论文阅读☆21Updated 3 years ago
- 使用Simhash对海量文本进行去重☆12Updated 6 years ago
- 使用fastNLP架构简单利用Bert-Bi-LSTM-CRF实现中文NER☆15Updated 4 years ago
- flyai 医疗QA NLG☆21Updated 5 years ago
- 复现了论文《基于主题模型的短文本关键词抽取及扩展》的代码☆30Updated 4 years ago
- 问答摘要/seq2seq/PGN/Bert_sum/UniLM☆18Updated 4 years ago
- My notes and codes for Stanford CS224n☆22Updated 4 years ago
- 手动实现Elasticsearch的倒排索引以及BM25算法☆46Updated 6 years ago
- 根据褒贬种子词，利用SO-PMI构建情感词典☆25Updated 9 years ago
- ☆10Updated 2 years ago
- 闲聊机器人☆11Updated 4 years ago
- Code & Data for our Paper "PATTERN-BASED CHINESE HYPERNYM-HYPONYM RELATION EXTRACTION METHOD"☆12Updated 5 years ago
- 文本标注工具，给文本打标签☆20Updated 5 years ago
- NLP的一些小例子,如:文本分类、文本纠错、关键词提取、自动摘要等☆23Updated 6 years ago
- 完整的新词发现&词库构建例子☆20Updated 8 years ago
- 电商评论观点挖掘☆39Updated 5 years ago
- 本项目使用云问科技训练的中文版UniLM模型对微博数据集进行自动标题生成。☆38Updated 11 months ago