dablelv / dirty-cnwordsLinks
收录常见业务安全场景中文脏词,如广告引流、辱骂、暴恐、黄赌毒政类。
☆67Updated 3 years ago
Alternatives and similar repositories for dirty-cnwords
Users that are interested in dirty-cnwords are comparing it to the libraries listed below
Sorting:
- DFA 实现中文敏感词检测☆104Updated 3 years ago
- 本项目旨在识别长短文本中的敏感词,并对整段/句文本进行语义分类,从而达到文本审核的目的☆71Updated 5 years ago
- pke_zh, python keyphrase extraction for chinese(zh). 中文关键词或关键句提取工具,实现了KeyBert、PositionRank、TopicRank、TextRank等算法,开箱即用。☆215Updated last year
- 一个基于预训练的句向量生成工具☆138Updated 2 years ago
- 专注于中文领域大语言模型,落地到某个行业某个领域,成为一个行业大模型、公司级别或行业级别领域大模型。☆126Updated 10 months ago
- 基于qlora对baichuan-7B大模型进行指令微调。☆23Updated 2 years ago
- 百度百科 500 万数据集☆44Updated 2 years ago
- 中文、分词、词表、核心词典、事件词表、停用词、敏感词、问答、问答数据、知识图谱、文本语料。☆171Updated 4 years ago
- ChatGLM2-6B微调, SFT/LoRA, instruction finetune☆109Updated 2 years ago
- 暴恐违禁 文本色情 政治敏感 恶意推广 低俗辱骂☆103Updated 3 years ago
- Code & Data for our Paper "NaSGEC: Multi-Domain Chinese Grammatical Error Correction for Native Speaker Texts" (ACL 2023 Findings)☆96Updated 10 months ago
- 一个短视频app文本审核模块的实现思路及demo☆124Updated 7 years ago
- llama inference for tencentpretrain☆99Updated 2 years ago
- 基于sentence transformers和chatglm实现的文档搜索工具☆157Updated 2 years ago
- 利用LLM+敏感词库,来自动判别是否涉及敏感词。☆136Updated 2 years ago
- 中文纠错☆92Updated 3 years ago
- 使用 Qwen2ForSequenceClassification 简单实现文本分类任务。☆89Updated last year
- ChatGLM-6B fine-tuning.☆137Updated 2 years ago
- 中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微…☆215Updated last year
- 中文语料库-每日自动更新版 ── 语料文件☆166Updated 5 years ago
- 一套代码指令微调大模型☆38Updated 2 years ago
- 评估自然语言的流畅度☆117Updated 4 years ago
- 大语言模型训练和服务调研☆37Updated 2 years ago
- text security audit 安全审核-语义模型过滤 敏感内容检测系统☆34Updated 10 months ago
- 🌈 NERpy: Implementation of Named Entity Recognition using Python. 命名实体识别工具,支持BertSoftmax、BertSpan等模型,开箱即用。☆116Updated last year
- chatglm-6b微调/LORA/PPO/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu☆165Updated 2 years ago
- 文本相似度,语义向量,文本向量,text-similarity,similarity, sentence-similarity,BERT,SimCSE,BERT-Whitening,Sentence-BERT, PromCSE, SBERT☆75Updated last year
- Python3 package for Chinese/English OCR,use paddleocr-v5 onnx model(~20MB), with ultra-fast inference speed. 基于ppocr-v5-onnx模型推理,中英文OCR开源…☆122Updated 5 months ago
- 时间抽取、解析、标准化工具☆56Updated 3 years ago
- 文本智能校对大赛(Chinese Text Correction)的baseline☆67Updated 3 years ago