zhangnengwei123 / vLLM-docker-Qwen2
学习vLLM,使用vLLM部署Qwen2-0.5B的模型,并使用docker部署。
☆17Updated 10 months ago
Alternatives and similar repositories for vLLM-docker-Qwen2
Users that are interested in vLLM-docker-Qwen2 are comparing it to the libraries listed below
Sorting:
- 基于Qwen2模型进行通用信息抽取【实体/关系/事件抽取】☆32Updated 10 months ago
- Tracking the hot Github repos and update daily 每天自动追踪Github热门项目☆49Updated this week
- 欢迎来到“筱可AI研习社”的实战项目仓库!这个仓库主要用于存储和展示为公众号撰写的各类实战项目。我们会不断优化和迭代这些项目,以探索AI的无限可能。☆33Updated this week
- 大语言模型训练和服务调研☆37Updated last year
- Finetune Llama 3, Mistral & Gemma LLMs 2-5x faster with 80% less memory☆28Updated last year
- LLama3中文个人版本☆39Updated last year
- TPO 是一个优化 LLM 输出文本的框架,通过迭代反馈和优化提示的方式来“微调模型”,而非直接调整模型的参数,使模型在推理过程中与人类偏好对齐以生成更好的结果。本项目提供了一个友好的 WebUI 来加载模型,实时优化基础模型并展示最佳结果。☆10Updated 2 months ago
- Here is a demo for PDF parser (Including OCR, object detection tools)☆34Updated 7 months ago
- ☆27Updated 7 months ago
- 视频理解:千问视频多模态模型 & Dify☆53Updated 8 months ago
- A demo built on Megrez-3B-Instruct, integrating a web search tool to enhance the model's question-and-answer capabilities.☆37Updated 5 months ago
- 通用简单工具项目☆16Updated 7 months ago
- Python3 package for Chinese/English OCR, with paddleocr-v4 onnx model(~14MB). 基于ppocr-v4-onnx模型推理,可实现 CPU 上毫秒级的 OCR 精准预测,通用场景中英文OCR达到开源SO…☆81Updated 3 months ago
- 利用免费的大模型api来结合你的私域数据来生成sft训练数据(妥妥白嫖)支持llamafactory等工具的训练数据格式synthetic data☆160Updated 5 months ago
- (撰写ing..)本仓库偏教程性质,以「模型中文化」为一个典型的模型训练问题切入场景,指导读者上手学习LLM二次微调训练。☆34Updated 9 months ago
- Fast pdf translate是一款pdf翻译软件,基于MinerU实现pdf转markdown的功能,接着对markdown进行分割, 送给大模型翻译,最后组装翻译结果并由pypandoc生成结果pdf。☆19Updated last month
- 在RAG技术中,嵌入向量的生成和匹配是关键环节。本文介绍了一种基于CLIP/BLIP模型的嵌入服务,该服务支持文本和图像的嵌入生成与相似度计算,为多模态信息检索提供了基础能力。☆24Updated 4 months ago
- An open-source chat text to control actions agentic workflow framework/showcase powered by Agently AI application development framework.☆27Updated 7 months ago
- 如需体验textin文档解析,请点击https://cc.co/16YSIy☆22Updated 10 months ago
- Agentica: Effortlessly Build Intelligent, Reflective, and Collaborative Multimodal AI Agents! 轻松构建智能、具备反思能力、可协作的多模态AI Agent。☆155Updated this week
- ☆142Updated 11 months ago
- 本项目致力于为大模型领域的初学者提供全面的知识体系,包括基础和高阶内容,以便开发者能迅速掌握大模型技术栈并全面了解相关知识。☆58Updated 4 months ago
- 基于LLM的多轮问答系统。结合了意图识别和词槽填充技术☆19Updated last year
- SearchGPT: Building a quick conversation-based search engine with LLMs.☆46Updated 4 months ago
- ☆39Updated 2 months ago
- LLM RAG 应用,支持 API 调用,语音交互。☆11Updated 10 months ago
- 一个微博毒舌AI,疯狂 diss 微博博主☆12Updated 4 months ago
- 想要从零开始训练一个中文的mini大语言模型,可以进行基本的对话,模型大小根据手头的机器决定☆59Updated 9 months ago
- 微调阿里开源的文字检测模型,利用合合识别返回的OCR结果作为初始训练数据,对模型进行优化训练,使其更加适应1万张图片的具体场景,提高文字识别的精度。☆9Updated 5 months ago
- funasr语音转文字的简单api版本,funasr+fastapi,方便部署在服务器上☆10Updated 9 months ago