dablelv / dirty-cnwords
收录常见业务安全场景中文脏词,如广告引流、辱骂、暴恐、黄赌毒政类。
☆57Updated 2 years ago
Alternatives and similar repositories for dirty-cnwords:
Users that are interested in dirty-cnwords are comparing it to the libraries listed below
- 中文谐音词/字库(同音词/字)Chinese Homophones☆102Updated 5 years ago
- 本项目旨在识别长短文本中的敏感词,并对整段/句文本进行语义分类,从而达到文本审核的目的☆64Updated 5 years ago
- 中文文本纠错相关的论文、比赛和工具。☆55Updated 3 weeks ago
- ☆77Updated last year
- CCL 2022 汉语学习者文本纠错评测☆138Updated 2 years ago
- 基于seq2edit (Gector) 的中文文本纠错。☆28Updated 2 years ago
- 基于sentence-transformers实现文本转向量的机器人☆45Updated 2 years ago
- 时间抽取、解析、标准化工具☆50Updated 2 years ago
- 一个基于预训练的句向量生成工具☆137Updated 2 years ago
- ChatGLM-6B fine-tuning.☆135Updated 2 years ago
- deep training task☆29Updated last year
- 中文纠错☆92Updated 3 years ago
- Correcting Chinese Spelling Errors with Phonetic Pre-training 非官方实现☆40Updated 3 years ago
- The code for our ACL2022 findings paper: CRACSpell: A Contextual Typo Robust Approach with Copy Mechanism to Improve Chinese Spelling Cor…☆75Updated 2 years ago
- 暴恐违禁 文本色情 政治敏感 恶意推广 低俗辱骂☆98Updated 3 years ago
- 多轮中文聊天机器人,采用GPT2进行微调,清洗聊天数据110w+,采用语义相似度和文本jaccard相似度过滤回话。☆22Updated 3 years ago
- Code & Data for our Paper "NaSGEC: Multi-Domain Chinese Grammatical Error Correction for Native Speaker Texts" (ACL 2023 Findings)☆85Updated 2 months ago
- pke_zh, python keyphrase extraction for chinese(zh). 中文关键词或关键句提取工具,实现了KeyBert、PositionRank、TopicRank、TextRank等算法,开箱即用。☆204Updated last year
- 评估自然语言的流畅度☆114Updated 3 years ago
- 中文、分词、词表、核心词典、事件词表、停用词、敏感词、问答、问答数据、知识图谱、文本语料。☆161Updated 3 years ago
- 本项目旨在对大量文本文件进行快速编码检测和转换以辅助mnbvc语料集项目的数据清洗工作☆61Updated 6 months ago
- 一个非常高效的字符串匹配工具,支持正向/反向最大匹配分词和多模式字符串精确匹配☆17Updated last year
- DFA 实现中文敏感词检测☆99Updated 2 years ago
- 百度百科 500 万数据集☆34Updated last year
- 汉字字符特征提取工具,可以提取出字符中的字音(声母、韵母、声调)、字形(偏旁、部首)、四角编码等特征,同时可作为tensor输入到模型☆136Updated 4 years ago
- 一个简单易用的 Python 模块,用于通过字符串来操作日期/时间。正则时间提取,字符串时间解析,字符串时间提取。中文时间提取,一句话里面提取时间☆75Updated 9 months ago
- LORA微调BLOOMZ,参考BELLE☆25Updated 2 years ago
- ChatGLM2-6B微调, SFT/LoRA, instruction finetune☆107Updated last year
- baichuan and baichuan2 finetuning and alpaca finetuning☆32Updated last month
- 大模型预训练中文语料清洗及质量评估 Large model pre-training corpus cleaning☆57Updated 9 months ago