CadenCao / vllm-qwen1.5-StreamChat
用VLLM框架部署千问1.5并进行流式输出
☆22Updated 5 months ago
Related projects: ⓘ
- 专注于Python/C++/CUDA、ML/DL/RL和NLP/KG/DS/LLM领域的技术分享。☆59Updated 2 months ago
- ☆23Updated last year
- 快速入门RAG与私有化部署☆114Updated 5 months ago
- ☆79Updated 2 months ago
- 基于BM25、BGE、OpenAI Embedding检索算法的检索增强生成RAG示例,支持OpenAI风格的大模型服务☆81Updated 2 months ago
- seq2seq_translation☆26Updated 2 years ago
- ☆90Updated last year
- 基于lora微调Qwen1.8chat的实战教程☆20Updated 6 months ago
- 阿里通义千问(Qwen-7B-Chat/Qwen-7B), 微调/LORA/推理☆63Updated 4 months ago
- qwen-7b and qwen-14b finetuning☆82Updated 5 months ago
- qwen ai agent☆102Updated 7 months ago
- 阿里天池: 2023全球智能汽车AI挑战赛——赛道一:AI大模型检索问答 baseline 80+☆63Updated 8 months ago
- 使用单个24G显卡,从0开始训练LLM☆47Updated 2 months ago
- baichuan LLM surpervised finetune by lora☆57Updated last year
- ☆23Updated last year
- chatglm-6B for tools application using langchain☆76Updated last year
- Generate dialog data from documents using LLM like ChatGLM2 or ChatGPT;利用ChatGLM2,ChatGPT等大模型根据文档生成对话数据集☆135Updated 10 months ago
- 大语言模型应用:RAG、NL2SQL、聊天机器人、预训练、MOE混合专家模型、微调训练、强化学习、天池数据竞赛☆48Updated 3 months ago
- RAG向量召回示例☆79Updated 7 months ago
- Train a Chinese LLM From 0 by Personal☆145Updated last week
- 通义千问VLLM推理部署DEMO☆402Updated 5 months ago
- Baichuan2代码的逐行解析版本,适合小白☆208Updated last year
- Inference code for LLaMA models☆101Updated last year
- TinyRAG☆215Updated 4 months ago
- 一些 LLM 方面的从零复现笔记☆105Updated 3 months ago
- 一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测,低参数量及全参数模型训练(预训练、SFT、RM、PPO、DPO)和融合、量化。☆198Updated 9 months ago
- 学习开源chatGPT类模型的指南,汇总各种训练数据获取、模型微调、模型服务的方法,以及记录自己操作总遇到的各种常见坑,欢迎收藏、转发,希望能帮你省一些时间☆67Updated 11 months ago
- ChatGLM-6B添加了RLHF的实现,以及部分核心代码的逐行讲解 ,实例部分是做了个新闻短标题的生成,以及指定context推荐的RLHF的实现☆75Updated last year
- BERT-based intent and slots detector for chatbots.☆122Updated 4 months ago
- LLM Tokenizer with BPE algorithm☆23Updated 4 months ago