zhangnengwei123 / vLLM-docker-Qwen2Links
学习vLLM，使用vLLM部署Qwen2-0.5B的模型，并使用docker部署。
☆18Updated last year
Alternatives and similar repositories for vLLM-docker-Qwen2
Users that are interested in vLLM-docker-Qwen2 are comparing it to the libraries listed below
Sorting:
- TPO 是一个优化 LLM 输出文本的框架，通过迭代反馈和优化提示的方式来“微调模型”，而非直接调整模型的参数，使模型在推理过程中与人类偏好对齐以生成更好的结果。本项目提供了一个友好的 WebUI 来加载模型，实时优化基础模型并展示最佳结果。☆10Updated 4 months ago
- 基于Qwen2模型进行通用信息抽取【实体/关系/事件抽取】☆31Updated 11 months ago
- 如需体验textin文档解析，请点击https://cc.co/16YSIy☆22Updated 11 months ago
- 利用免费的大模型api来结合你的私域数据来生成sft训练数据（妥妥白嫖）支持llamafactory等工具的训练数据格式synthetic data☆167Updated 7 months ago
- A demo built on Megrez-3B-Instruct, integrating a web search tool to enhance the model's question-and-answer capabilities.☆38Updated 6 months ago
- Finetune Llama 3, Mistral & Gemma LLMs 2-5x faster with 80% less memory☆27Updated last year
- 本项目致力于为大模型领域的初学者提供全面的知识体系，包括基础和高阶内容，以便开发者能迅速掌握大模型技术栈并全面了解相关知识。☆61Updated 5 months ago
- 中文论文、证券类、财报类PDF数据☆32Updated last year
- Converted the Jina Tokenizer regex pattern to python.☆26Updated 10 months ago
- AI Hub 是一个为了接入包括ChatGPT、Baichuan、Zhipu、混元、MiniMax、Moonshot等多种大型语言模型而设计的服务。它旨在积累和管理各种有效的模型调用提示（prompt），并对这些大型语言模型进行持续的测试和评估。☆71Updated last year
- Tracking the hot Github repos and update daily 每天自动追踪Github热门项目☆49Updated this week
- bisheng-unstructured library☆51Updated last month
- LLama3中文个人版本☆39Updated last year
- Agentica: Effortlessly Build Intelligent, Reflective, and Collaborative Multimodal AI Agents! 构建智能的多模态AI Agent。☆175Updated this week
- Python3 package for Chinese/English OCR, with paddleocr-v4 onnx model(~14MB). 基于ppocr-v4-onnx模型推理，可实现 CPU 上毫秒级的 OCR 精准预测，通用场景中英文OCR达到开源SO…☆87Updated 5 months ago
- 欢迎来到“筱可AI研习社”的实战项目仓库！这个仓库主要用于存储和展示为公众号撰写的各类实战项目。我们会不断优化和迭代这些项目，以探索AI的无限可能。☆56Updated this week
- Dive into LLM Agents☆18Updated last year
- 大语言模型训练和服务调研☆37Updated last year
- The Level-Navi Agent, a framework that requires no training and utilizes large language models for deep query understanding and precise s…☆79Updated 5 months ago
- ☆19Updated 9 months ago
- support BM25+vecetor☆29Updated last month
- 大型语言模型实战指南：应用实践与场景落地☆73Updated 9 months ago
- Bambo is a new proxy framework. Compared with mainstream frameworks, it is more lightweight and flexible and can handle various load task…☆35Updated 4 months ago
- 千问14B和7B的逐行解释☆60Updated last year
- 最少使用 3090 即可训练自己的比特大脑（miniLLM）🧠（进行中）. Train your own BitBrain(A mini LLM) with just an RTX 3090 minimum.☆21Updated this week
- unify-easy-llm（ULM）旨在打造一个简易的一键式大模型训练工具，支持Nvidia GPU、Ascend NPU等不同硬件以及常用的大模型。☆55Updated 11 months ago
- Qwen GRPO Graph Extraction RL Finetune☆49Updated 2 months ago
- DSPy中文文档☆28Updated last year
- 一个基于多模态向量模型及视觉多模态模型构建的图片搜索引擎&管理系统，实现精准的以文搜文，文搜图、以图搜图多种智能检索方式。An image search engine management system built upon multimodal vector models…☆42Updated this week
- MinerU API server☆62Updated 6 months ago