ztxz16 / exvllmLinks
vllm混合推理扩展插件，支持多NUMA混合推理，单卡推理Qwen3-Next模型可达1000+ prefill
☆20Updated this week
Alternatives and similar repositories for exvllm
Users that are interested in exvllm are comparing it to the libraries listed below
Sorting:
- 基于大模型生成内容的智能语音对讲☆10Updated 11 months ago
- 纯c++的全平台llm加速库，支持python调用，支持chatglm-6B, llama, baichuan, moss基座，x86 / ARM☆13Updated last month
- 收集优质的角色扮演聊天数据 | Collection of roleplay conversations of high quality☆15Updated 11 months ago
- Examples for QinYan GLMs☆13Updated last year
- LLM智能路由网关、 Enterprise Intelligent AI-API Distribution Gateway☆13Updated 9 months ago
- 一起来养一只拥有专属记忆的AI猫猫吧！☆10Updated last year
- ☆20Updated 2 months ago
- 基于 KouriChat 的 Dify 集成情感陪伴机器人，支持微信，增强 AI 交互。☆32Updated 8 months ago
- mcp的webui界面，支持客户端连接多个sse服务端，支持 openai、deepseek、qwen等大模型，另外附上构建的 agent的 stdio和sse的简单 天气查询的完整示例☆36Updated 5 months ago
- llms related stuff , including code, docs☆13Updated 8 months ago
- any4any是一个企业级多模态AI平台，提供完整的智能交互解决方案。集成了大语言模型对话、数字人系统、智能SQL查询、语音处理、知识库系统等核心功能，支持OpenAI兼容API接口，可无缝集成到各类AI应用中。☆42Updated this week
- Write the database metadata into the dify knowledge☆11Updated 6 months ago
- An SSH plugin for Dify☆11Updated 4 months ago
- 360zhiano2☆11Updated 11 months ago
- agentcp是一个基于ACP协议的Agent sdk，用于解决Agent间的身份认证及通信问题;用于创建AID、连接入网、构建会话，收发消息等;支持多Agent协作，异步消息处理，支持内网穿透，支持Agent访问的负载均衡☆16Updated 3 months ago
- ☆10Updated last week
- Dify DSL collection收集Dify工作流文件DSL，这里很多文件并不是本人原创，而是收集而来，感谢原作者。目前我是初学github，后面会加入大量原创内容☆20Updated 3 months ago
- ☆33Updated last year
- 大模型推理框架加速，让 LLM 飞起来☆20Updated last year
- cline使用dify平台的api进行创建文件以及ai问答，降低成本☆15Updated 9 months ago
- ☆10Updated last year
- zlai☆22Updated last year
- ☆16Updated 5 months ago
- ☆11Updated last year
- ☆24Updated 2 months ago
- 解决知识库搜索需要手动编排流和意图识别的问题☆18Updated 4 months ago
- Dify优质应用模板☆52Updated 11 months ago
- 一个AI头脑风暴项目☆24Updated 9 months ago
- 本项目借助飞桨平台，构建起一套创新的多模型协同系统，实现 PDF 文件到 Markdown 文件的高效、精准转换。☆27Updated 7 months ago
- ☆41Updated last year