liukangjia666 / qwen_data_process
针对qwen微调模型进行数据预处理
☆14Updated last year
Alternatives and similar repositories for qwen_data_process:
Users that are interested in qwen_data_process are comparing it to the libraries listed below
- TechGPT: Technology-Oriented Generative Pretrained Transformer☆222Updated last year
- large language model training-3-stages+deployment☆47Updated last year
- chatglm-6B for tools application using langchain☆75Updated last year
- chatglm3base模型的有监督微调SFT☆74Updated last year
- kbqa,langchain,large langauge model, chatgpt☆80Updated 5 months ago
- 千 问14B和7B的逐行解释☆57Updated last year
- ChatGLM2-6B微调, SFT/LoRA, instruction finetune☆107Updated last year
- 打造人人都会的NLP，开源不易，记得star哦☆101Updated last year
- 纯c++的全平台llm加速库，支持python调用，支持baichuan, glm, llama, moss基座，手机端流畅运行chatglm-6B级模型单卡可达10000+token / s，☆45Updated last year
- 基于lora微调Qwen1.8chat的实战教程☆27Updated 6 months ago
- （1）弹性区间标准化的旋转位置词嵌入编码器+peft LORA量化训练，提高万级tokens性能支持。（2）证据理论解释学习，提升模型的复杂逻辑推理能力（3）兼容alpaca数据格式。☆45Updated last year
- Integrating ONgDB database into langchain ecosystem☆77Updated last year
- 基于sentence transformers和chatglm实现的文档搜索工具☆154Updated last year
- 中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微…☆190Updated 10 months ago
- SMP 2023 ChatGLM金融大模型挑战赛 60 分baseline思路介绍☆184Updated last year
- 五分钟NLP 知识☆43Updated 4 years ago
- 基于chatglm快速搭建文档问答机器人☆88Updated last year
- 学习开源chatGPT类模型的指南，汇总各种训练数据获取、模型微调、模型服务的方法，以及记录自己操作总遇到的各种常见坑，欢迎收藏、转发，希望能帮你省一些时间☆74Updated last year
- qwen models finetuning☆95Updated last month
- A dataset template for guiding chat-models to self-cognition, including information about the model’s identity, capabilities, usage, limi…☆27Updated last year
- 大模型微调工具集合☆26Updated last year
- ChatGPT WebUI using gradio. 给 LLM 对话和检索知识问答RAG提供一个简单好用的Web UI界面☆123Updated 7 months ago
- 利用LLM+敏感词库，来自动判别是否涉及敏感词。☆116Updated last year
- ChatGLM-6B fine-tuning.☆135Updated last year
- chatglm-6b微调/LORA/PPO/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu☆164Updated last year
- 流水线系统(pipeline)构建基于本地知识库的ChatGLM问答☆87Updated last year
- 专注于中文领域大语言模型，落地到某个行业某个领域，成为一个行业大模型、公司级别或行业级别领域大模型。☆116Updated last month
- 微调ChatGLM☆125Updated last year
- 首个llama2 13b 中文版模型 （Base + 中文对话SFT，实现流畅多轮人机自然语言交互)☆90Updated last year
- ☆23Updated last year