FlyAIBox / llm_benchmarkLinks
大模型推理压测
☆45Updated 6 months ago
Alternatives and similar repositories for llm_benchmark
Users that are interested in llm_benchmark are comparing it to the libraries listed below
Sorting:
- LLM 并发性能测试工具,支持自动化压力测试和性能报告生成。☆213Updated last month
- gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR、TTS、文生图、图片编辑和文生视频的开源框架。☆244Updated last week
- An easy-to-use framework for modular RAG☆432Updated this week
- unify-easy-llm(ULM)旨在打造一个简易的一键式大模型训练工具,支持Nvidia GPU、Ascend NPU等不同硬件以及常用的大模型。☆60Updated last year
- 支持查询主流agent框架技术文档的MCP server(支持stdio和sse两种传输协议), 支持 langchain、llama-index、autogen、agno、openai-agents-sdk、mcp-doc、camel-ai 和 crew-ai☆154Updated 9 months ago
- 在RAG技术中,嵌入向量的生成和匹配是关键环节。本文介绍了一种基于CLIP/BLIP模型的嵌入服务,该服务支持文本和图像的嵌入生成与相似度计算,为多模态信 息检索提供了基础能力。☆42Updated last year
- LLM 推理服务性能测试☆44Updated 2 years ago
- vLLM Documentation in Chinese Simplified / vLLM 中文文档☆154Updated last month
- A unified tool to generate fine-tuning datasets for LLMs, including questions, answers, and dialogues. ✨🤖📚💬☆62Updated 10 months ago
- “AI-Compass”将为社区指引在 AI 技术海洋中航行的方向,无论你是初学者还是进阶开发者,都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势,并通过实践掌握从理论到落地的全过程。☆547Updated last month
- llamafactory blog☆51Updated last year
- langchain学习笔记,包含langchain源码解读、langchain中使用中文模型、langchain实例等。☆230Updated 2 years ago
- ☆168Updated 11 months ago
- Agentica: Effortlessly Build Intelligent, Reflective, and Collaborative Multimodal AI Agents! 构建智能的多模态AI Agent。☆244Updated this week
- 通义千问VLLM推理部署DEMO☆638Updated last year
- dify's rag patch module☆277Updated 5 months ago
- 企业级RAG系统从入门到精通☆623Updated 7 months ago
- ☆274Updated last year
- 基于大语言模型的检索增强生成RAG示例☆168Updated 9 months ago
- MCP Agent Graph is a Multi-Agent System built on the principles of Context Engineering☆187Updated last month
- 中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微…☆216Updated last year
- 大模型检索增强生成技术最佳实践。☆88Updated last year
- 属于每个人的公众号”查特查特“上线啦!新问题、新方法、新发现,欢迎提PR!☆47Updated 2 years ago
- ragflow中的ocr部分,非官方项目☆54Updated last year
- [ACL2025 demo track] ROGRAG: A Robustly Optimized GraphRAG Framework☆194Updated last month
- 部署你自己的OpenAI api🤩, 基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型, 可以运行在单张Tesla T4显卡) ,实现了OpenAI中Chat, Models和Completions接口,包含流式响…☆96Updated 2 years ago
- 对深度学习中的NLP进行解释和代码使用☆61Updated 2 years ago
- 基于ReAct手搓一个Agent Demo☆167Updated 7 months ago
- ☆183Updated last week
- Convert files into markdown to help RAG or LLM understand, based on markitdown and MinerU, which could provide high quality pdf parser.☆132Updated 10 months ago