liukangjia666 / qwen_data_processLinks
针对qwen微调模型进行数据预处理
☆13Updated 2 years ago
Alternatives and similar repositories for qwen_data_process
Users that are interested in qwen_data_process are comparing it to the libraries listed below
Sorting:
- Q&A based on elasticsearch+langchain+chatglm2 ｜ 基于elasticsearch，langchain，chatglm2的自有知识库问答☆243Updated 2 years ago
- Firefly中文LLaMA-2大模型，支持增量预训练Baichuan2、Llama2、Llama、Falcon、Qwen、Baichuan、InternLM、Bloom等大模型☆416Updated 2 years ago
- 五分钟NLP 知识☆43Updated 5 years ago
- 基于sentence transformers和chatglm实现的文档搜索工具☆157Updated 2 years ago
- chatglm-6B for tools application using langchain☆76Updated 2 years ago
- ChatGLM2-6B微调, SFT/LoRA, instruction finetune☆110Updated 2 years ago
- 大模型预训练中文语料清洗及质量评估 Large model pre-training corpus cleaning☆75Updated last year
- 本地知识库 + chatGLM6B + CustomAgent☆273Updated 2 years ago
- basic framework for rag(retrieval augment generation)☆86Updated 2 years ago
- llama inference for tencentpretrain☆99Updated 2 years ago
- Baichuan2代码 的逐行解析版本，适合小白☆213Updated 2 years ago
- 《Rasa实战：构建开源对话机器人》官方随书代码 | The official source code of Rasa in Action: Building Open Source Conversational AI☆353Updated 2 years ago
- 基于pytorch的中文意图识别和槽位填充☆212Updated 6 months ago
- large language model training-3-stages+deployment☆48Updated 2 years ago
- 千问14B和7B的逐行解释☆63Updated 2 years ago
- ChatGLM-6B fine-tuning.☆136Updated 2 years ago
- chatglm-6b微调/LORA/PPO/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu☆165Updated 2 years ago
- 属于每个人的公众号”查特查特“上线啦！新问题、新方法、新发现，欢迎提PR！☆47Updated 2 years ago
- 对深度学习中的NLP进行解释和代码使用☆61Updated 2 years ago
- Integrating ONgDB database into langchain ecosystem☆75Updated 2 years ago
- 中文聊天小模型，用t5 base在大量数据上有监督。☆103Updated 2 years ago
- 利用LLM+敏感词库，来自动判别是否涉及敏感词。☆136Updated 2 years ago
- langchain学习笔记，包含langchain源码解读、langchain中使用中文模型、langchain实例等。☆230Updated 2 years ago
- 供AI训练的中文数据集（持续更新。。。）与AI公司图谱，目前的数据集餐饮行业8000问，百度知道，Alpaca中文数据集，计算机领域数据集，Vicuna数据集，RedPajama数据集，Wikipedia中文词条数据集，网站论坛问答数据集☆64Updated 2 years ago
- 中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微…☆216Updated last year
- 大语言模型微调的项目，包含了使用QLora微调ChatGLM和LLama☆28Updated 2 years ago
- ChatGPT WebUI using gradio. 给 LLM 对话和检索知识问答RAG提供一个简单好用的Web UI界面☆139Updated last year
- SMP 2023 ChatGLM金融大模型挑战赛 60 分baseline思路介绍☆186Updated 2 years ago
- Rasa通过PaddleNLP提供中文支持☆33Updated 3 years ago
- Alpaca Chinese Dataset -- 中文指令微调数据集☆216Updated last year