liukangjia666 / qwen_data_process
针对qwen微调模型进行数据预处理
☆14Updated 8 months ago
Related projects: ⓘ
- llm-medical-data:用于大模型微调训练的医疗数据集☆61Updated last year
- chatglm-6B for tools application using langchain☆76Updated last year
- 打造人人都会的NLP，开源不易，记得star哦☆101Updated last year
- ChatGPT WebUI using gradio. 给 LLM 对话和检索知识问答RAG提供一个简单好用的Web UI界面☆84Updated 3 weeks ago
- 五分钟NLP 知识☆41Updated 3 years ago
- 纯c++的全平台llm加速库，支持python调用，支持baichuan, glm, llama, moss基座，手机端流畅运行chatglm-6B级模型单卡可达10000+token / s，☆44Updated last year
- chatglm3base模型的有监督微调SFT☆73Updated 10 months ago
- 千问14B和7B的逐行解释☆46Updated 11 months ago
- ☆61Updated this week
- ☆33Updated this week
- 属于每个人的公众号”查特查特“上线啦！新问题、新方法、新发现，欢迎提PR！☆38Updated 9 months ago
- 基于sentence transformers和chatglm实现的文档搜索工具☆153Updated last year
- ChatGLM2-6B微调, SFT/LoRA, instruction finetune☆107Updated last year
- （1）弹性区间标准化的旋转位置词嵌入编码器+peft LORA量化训练，提高万级tokens性能支持。（2）证据理论解释学习，提升模型的复杂逻辑推理能力（3）兼容alpaca数据格式。☆45Updated last year
- 国内首个全参数训练的法律大模型 HanFei-1.0 (韩非)☆91Updated 10 months ago
- 利用LLM+敏感词库，来自动判别是否涉及敏感词。☆100Updated last year
- 阿里通义千问(Qwen-7B-Chat/Qwen-7B), 微调/LORA/推理☆63Updated 4 months ago
- 基于BM25、BGE、OpenAI Embedding检索算法的检索增强生成RAG示例，支持OpenAI风格的大模型服务☆81Updated 2 months ago
- 供AI训练的中文数据集（持续更新。。。）与AI公司图谱，目前的数据集餐饮行业8000问，百度知道，Alpaca中文数据集，计算机领域数据集，Vicuna数据集，RedPajama数据集，Wikipedia中文词条数据集，网站论坛问答数据集☆50Updated 9 months ago
- ☆37Updated 4 months ago
- Ziya-LLaMA-13B是IDEA基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。本文主要用于Ziya-…☆42Updated last year
- 实现了Baichuan-Chat微调，Lora、QLora等各种微调方式，一键运行。☆70Updated last year
- large language model training-3-stages+deployment☆45Updated last year
- Integrating ONgDB database into langchain ecosystem☆77Updated last year
- "桃李“: 国际中文教育大模型☆166Updated 10 months ago
- ChatGLM-6B fine-tuning.☆135Updated last year
- langchain学习笔记，包含langchain源码解读、langchain中使用中文模型、langchain实例等。☆172Updated last year
- Pytorch implementation of JointBERT: "BERT for Joint Intent Classification and Slot Filling"☆26Updated last year
- A high-throughput and memory-efficient inference and serving engine for LLMs☆120Updated 9 months ago
- gpt_server是一个用于生产级部署LLMs或Embedding的开源框架。☆94Updated this week