ArtificialZeng / baichuan-speedup
纯c++的全平台llm加速库，支持python调用，支持baichuan, glm, llama, moss基座，手机端流畅运行chatglm-6B级模型单卡可达10000+token / s，
☆45Updated last year
Related projects ⓘ
Alternatives and complementary repositories for baichuan-speedup
- 演示 vllm 对中文大语言模型的神奇效果☆31Updated last year
- （1）弹性区间标准化的旋转位置词嵌入编码器+peft LORA量化训练，提高万级tokens性能支持。（2）证据理论解释学习，提升模型的复杂逻辑推理能力（3）兼容alpaca数据格式。☆45Updated last year
- ☆92Updated 6 months ago
- ChatGLM2-6B微调, SFT/LoRA, instruction finetune☆106Updated last year
- llama inference for tencentpretrain☆96Updated last year
- GTS Engine: A powerful NLU Training System。GTS引擎（GTS-Engine）是一款开箱即用且性能强大的自然语言理解引擎，聚焦于小样本任务，能够仅用小样本就能自动化生产NLP模型。☆89Updated last year
- large language model training-3-stages+deployment☆46Updated last year
- 基于baichuan-7b的开源多模态大语言模型☆72Updated 11 months ago
- 旨在对当前主流LLM进行一个直观、具体、标准的评 测☆92Updated last year
- 百川Dynamic NTK-ALiBi的代码实现：无需微调即可推理更长文本☆46Updated last year
- A more efficient GLM implementation!☆55Updated last year
- 千问14B和7B的逐行解释☆51Updated last year
- 首个llama2 13b 中文版模型 （Base + 中文对话SFT，实现流畅多轮人机自然语言交互)☆89Updated last year
- 高性能文本 Tokenizer 库☆27Updated 9 months ago
- moss chat finetuning☆50Updated 6 months ago
- 专注于中文领域大语言模型，落地到某个行业某个领域，成为一个行业大模型、公司级别或行业级别领域大模型。☆112Updated 2 months ago
- use chatGLM to perform text embedding☆45Updated last year
- 中文原生检索增强生成测评基准☆100Updated 7 months ago
- A high-throughput and memory-efficient inference and serving engine for LLMs☆123Updated 11 months ago
- ☆90Updated last year
- 📔 对Chinese-LLaMA-Alpaca进行使用说明和核心代码注解☆48Updated last year
- qwen-7b and qwen-14b finetuning☆84Updated 7 months ago
- 本项目致力于为大模型领域的初学者提供全面的知识体系，包括基础和高阶内容，以便开发者能迅速掌握大模型技术栈并全面了解相关知识。☆42Updated 4 months ago
- 基于 LoRA 和 P-Tuning v2 的 ChatGLM-6B 高效参数微调☆54Updated last year
- Baichuan2代码的逐行解析版本，适合小白☆208Updated last year
- 通用版面分析 | 中文文档解析 |Document Layout Analysis | layout paser☆45Updated 5 months ago
- deep training task☆29Updated last year
- 专注于Python/C++/CUDA、ML/DL/RL和NLP/KG/DS/LLM领域的技术分享。☆63Updated 4 months ago
- 骆驼QA，中文大语言阅读理解模型。☆72Updated last year