Alternatives and similar repositories for ktrun

Users that are interested in ktrun are comparing it to the libraries listed below

• ubergarm / r1-ktransformers-guide
  run DeepSeek-R1 GGUFs on KTransformers
  ☆236Updated 3 months ago
• zj591227045 / DeepStressModel
  ☆154Updated 3 months ago
• vproxy-tools / ktransformers
  A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations
  ☆40Updated last month
• liuwenzhoa / KT_Qwen3
  ☆28Updated last month
• fattank / deepseek-on-vllm-VRAMandDRAM
  一套基于Vllm的显存内存混合模式大模型部署工具（图形界面），VRAMandDRAM模式虽然慢一点，但是解决了超大模型在普通家用计算机上的部署问题。
  ☆69Updated 2 months ago
• gpustack / llama-box
  LM inference server implementation based on *.cpp.
  ☆226Updated this week
• Ikaros-521 / GraphRAG-Ollama-UI
  GraphRAG-Ollama-UI + GraphRAG4OpenWebUI 融合版（有gradio webui配置生成RAG索引，有fastapi提供RAG API服务）
  ☆110Updated 10 months ago
• gengchaogit / triton-3.2.0-mi50
  triton3.2.0添加mi25/mi50/mi60支持
  ☆12Updated 2 months ago
• shell-nlp / gpt_server
  gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR和TTS的开源框架。
  ☆194Updated this week
• RapidAI / LLM-EXAM
  大模型中文测试题库-民间版本
  ☆84Updated 2 years ago
• thu-pacman / chitu
  High-performance inference framework for large language models, focusing on efficiency, flexibility, and availability.
  ☆1,147Updated last week
• TylunasLi / fastllm
  纯c++的全平台llm加速库，支持python调用，支持chatglm-6B, llama, baichuan, moss基座，x86 / ARM
  ☆12Updated this week
• liuhuapiaoyuan / MinerU-webui
  MinerU是一款开源的高质量PDF解析工具，基于深度学习技术，可自动提取PDF文档中的文字、表格、图片、公式等内容，并提供丰富的分析、统计、搜索等功能。 本项目为其提供一个简化版本的WebUI，方便用户上传PDF文件，并实时展示提取结果。
  ☆209Updated 6 months ago
• LuckLittleBoy / SenseVoice-OneApi
  基于SenseVoice的funasr版本进行的api发布，可以无缝对接oneapi
  ☆67Updated 9 months ago
• zstar1003 / ragflow-plus
  Ragflow-Plus 是 Ragflow 的二次开发版本，使其更为简洁实用
  ☆632Updated this week
• KylinMountain / graphrag-server
  添加🚀流式 Web 服务到 GraphRAG，兼容 OpenAI SDK，支持可访问的实体链接🔗，支持建议问题，兼容本地嵌入模型，修复诸多问题。Add streaming web server to GraphRAG, compatible with OpenAI SD…
  ☆254Updated 3 months ago
• onllama / Onllama.ModelScope2Registry
  Ollama 模型 Registry 镜像站 / 加速器，让 Ollama 从 ModelScope 魔搭 更快的 拉取 / 下载 模型。
  ☆95Updated 2 months ago
• infinigence / Infini-Megrez
  ☆310Updated 6 months ago
• luyilong2015 / open-webui-pipeline-for-ragflow
  使用open-webui中的pipelines技术在open-webui中调用ragflow的agent实现基于知识库的智能对话，并拥有美观的界面。
  ☆89Updated last week
• XJF2332 / GOT-OCR-2-GUI
  GOT-OCR的GUI版本，提供OCR、导出PDF、批处理等功能，但不提供训练功能
  ☆174Updated last month
• weizxfree / KnowFlow
  KnowFlowRAG
  ☆87Updated this week
• soulteary / dify-with-qwen-vl
  视频理解：千问视频多模态模型 & Dify
  ☆60Updated 9 months ago
• brightwang / dify-tool-service
  为AI带路党Pro视频准备
  ☆254Updated 4 months ago
• Shenzhi-Wang / Llama3-Chinese-Chat
  This is the first Chinese chat model specifically fine-tuned for Chinese through ORPO based on the Meta-Llama-3-8B-Instruct model.
  ☆321Updated last year
• svcvit / dify_plugin_collection
  DIFY PULGIN 插件源码集合
  ☆236Updated 3 weeks ago
• open-chinese / alpaca-chinese-dataset
  Alpaca Chinese Dataset -- 中文指令微调数据集
  ☆208Updated 8 months ago
• lework / llm-benchmark
  LLM 并发性能测试工具，支持自动化压力测试和性能报告生成。
  ☆93Updated 3 months ago
• vllm-project / vllm-ascend
  Community maintained hardware plugin for vLLM on Ascend
  ☆791Updated this week
• cgxjdzz / Completing-Stories-Following-Instruct-with-LLMs-LoRA
  Train an LLM LoRA using a specific dataset to enable the LLM to continue stories in a specific style based on the plot and background.通过特…
  ☆43Updated 8 months ago
• zhongTao99 / ollama
  Get up and running with Llama 3, Mistral, Gemma 2, and other large language models.
  ☆22Updated last week