FlyAIBox / llm_benchmarkLinks
大模型推理压测
☆37Updated 3 months ago
Alternatives and similar repositories for llm_benchmark
Users that are interested in llm_benchmark are comparing it to the libraries listed below
Sorting:
- unify-easy-llm(ULM)旨在打造一个简易的一键式大模型训练工具,支持Nvidia GPU、Ascend NPU等不同硬件以及常用的大模型。☆58Updated last year
- gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR、TTS、文生图、图片编辑和文生视频的开源框架。☆216Updated this week
- LLM 并发性能测试工具,支持自动化压力测试和性能报告生成。☆173Updated 7 months ago
- 在RAG技术中,嵌入向量的生成和匹配是关键环节。本文介绍了一种基于CLIP/BLIP模型的嵌入服务,该服务支持文本和图像的嵌入生成与相似度计算,为多模态信息检索提供了基础能力。☆36Updated 10 months ago
- An easy-to-use framework for modular RAG☆405Updated this week
- 通义千问VLLM推理部署DEMO☆614Updated last year
- 中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微…☆211Updated last year
- 基于大语言模型的检索增强生成RAG示例☆161Updated 5 months ago
- 企业级RAG系统从入门到精通☆574Updated 4 months ago
- 大模型检索增强生成技术最佳实践。☆85Updated last year
- Agentica: Effortlessly Build Intelligent, Reflective, and Collaborative Multimodal AI Agents! 构建智能的多模态AI Agent。☆215Updated this week
- 支持查询主流agent框架技术文档的MCP server(支持stdio和sse两种传输协议), 支持 langchain、llama-index、autogen、agno、openai-agents-sdk、mcp-doc、camel-ai 和 crew-ai☆144Updated 5 months ago
- NLP 项目记录档案☆60Updated 6 months ago
- ☆152Updated 7 months ago
- Easy-to-Use RAG Framework; CCF AIOps International Challenge 2024 Top3 Solution; CCF AIOps 国际挑战赛 2024 季军方案☆587Updated 11 months ago
- llamafactory blog☆42Updated last year
- 基于ReAct手搓一个Agent Demo☆158Updated 4 months ago
- 对深度学习中的NLP进行解释和代码使用☆57Updated last year
- 视觉信息抽取任务中,使用OCR识别结果规范多模态大模型的回答☆41Updated 10 months ago
- 探索 LLM 在法律行业的应用潜力☆92Updated 10 months ago
- 一些大语言模型和多模态模型的生态,主要包括跨模态搜索、投机解码、QAT量化、多模态量化、ChatBot、OCR☆191Updated 2 months ago
- 一个适合学习、使用、自主扩展的RAG【检索增强生成】系统!可联网做AI搜索☆514Updated last year
- RAG-QA-Generator 是一个用于检索增强生成(RAG)系统的自动化知识库构建与管理工具。该工具通过读取文档数据,利用大规模语言模型生成高质量的问答对(QA对),并将这些数据插入数据库中,实现RAG系统知识库的自动化构建和管理。☆238Updated 10 months ago
- 一个基于多模态大模型的图表解析器☆36Updated 7 months ago
- 大模型预训练中文语料清洗及质量评估 Large model pre-training corpus cleaning☆70Updated last year
- langchain学习笔记,包含langchain源码解读、langchain中使用中文模型、langchain实例等。☆225Updated 2 years ago
- 旨在收集各行业的开源数据,引导和推动行业大模型的发展☆57Updated last year
- A unified tool to generate fine-tuning datasets for LLMs, including questions, answers, and dialogues. ✨🤖📚💬☆63Updated 7 months ago
- 利用免费的大模型api来结合你的私域数据来生成sft训练数据(妥妥白嫖)支持llamafactory等工具的训练数据格式synthetic data☆185Updated 11 months ago
- Q&A based on elasticsearch+langchain+chatglm2 | 基于elasticsearch,langchain,chatglm2的自有知识库问答☆242Updated 2 years ago