dablelv / dirty-cnwords
收录常见业务安全场景中文脏词,如广告引流、辱骂、暴恐、黄赌毒政类。
☆58Updated 2 years ago
Alternatives and similar repositories for dirty-cnwords:
Users that are interested in dirty-cnwords are comparing it to the libraries listed below
- llama inference for tencentpretrain☆98Updated last year
- 本项目旨在识别长短文本中的敏感词,并对整段/句文本进行语义分类,从而达到文本审核的目的☆64Updated 5 years ago
- ChatGLM2-6B微调, SFT/LoRA, instruction finetune☆106Updated last year
- 文本相似度,语义向量,文本向量,text-similarity,similarity, sentence-similarity,BERT,SimCSE,BERT-Whitening,Sentence-BERT, PromCSE, SBERT☆73Updated 4 months ago
- 专注于中文领域大语言模型,落地到某个行业某个领域,成为一个行业大模型、公司级别或行业级别领域大模型。☆116Updated 3 weeks ago
- baichuan LLM surpervised finetune by lora☆62Updated last year
- 评估自然语言的流畅度☆114Updated 3 years ago
- A framework for cleaning Chinese dialog data☆267Updated 3 years ago
- sentence-transformers to onnx 让sbert模型推理效率更快☆163Updated 3 years ago
- ChatGLM-6B fine-tuning.☆135Updated last year
- 中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微…☆188Updated 10 months ago
- 各大文本摘要模型-中文文本可运行的解决方案☆67Updated last year
- 中文书籍收录整理, Collection of Chinese Books☆179Updated last year
- ☆75Updated last year
- 基于mlm方式的带有纠错功能的拼音转汉字bert预训练模型,pinyin correcter,基于pytorch框架实现☆45Updated 4 years ago
- GoGPT:基于Llama/Llama 2训练的中英文增强大模型|Chinese-Llama2☆78Updated last year
- 基于sentence transformers和chatglm实现的文档搜索工具☆154Updated last year
- text security audit 安全审核-语义模型过滤 敏感内容检测系统☆21Updated last month
- 基于Pytorch的文本分类框架,支持TextCNN、Bert、Electra等。☆61Updated 2 years ago
- 基于T5模型的中文文本纠错☆30Updated 4 months ago
- deep training task☆29Updated last year
- MiniRBT (中文小型预训练模型系列)☆269Updated last year
- 时间抽取、解析、标准化工具☆51Updated 2 years ago
- Baichuan-13B 指令微调☆89Updated last year
- 大模型预训练中文语料清洗及质量评估 Large model pre-training corpus cleaning☆55Updated 8 months ago
- 中文纠错☆92Updated 3 years ago
- 一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测,低参数量及全参数模型训练(预训练、SFT、RM、PPO、DPO)和融合、量化。☆215Updated last year
- 文本智能校对大赛(Chinese Text Correction)的baseline☆67Updated 2 years ago
- 中文 Instruction tuning datasets☆129Updated 11 months ago
- 一套代码指令微调大模型☆38Updated last year