Alternatives and similar repositories for fastllm

Users that are interested in fastllm are comparing it to the libraries listed below

• Orion-zhen / roleplay-dataset
  收集优质的角色扮演聊天数据 | Collection of roleplay conversations of high quality
  ☆15Updated 11 months ago
• billvsme / my_openai_api
  部署你自己的OpenAI api🤩, 基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型, 可以运行在单张Tesla T4显卡) ，实现了OpenAI中Chat, Models和Completions接口，包含流式响…
  ☆96Updated 2 years ago
• amulil / vector_by_onnxmodel
  accelerate generating vector by using onnx model
  ☆18Updated last year
• zRzRzRzRzRzRzR / lm-fly
  大模型推理框架加速，让 LLM 飞起来
  ☆21Updated last year
• mMrBun / AIPC
  ☆58Updated last year
• BryanMurkyChan / Project_Miao
  一起来养一只拥有专属记忆的AI猫猫吧！
  ☆10Updated last year
• QwenLM / vllm-gptq
  A high-throughput and memory-efficient inference and serving engine for LLMs
  ☆138Updated 11 months ago
• peilongchencc / docker_tutorial
  介绍docker、docker compose的使用。
  ☆21Updated last year
• shell-nlp / gpt_server
  gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR、TTS、文生图、图片编辑和文生视频的开源框架。
  ☆234Updated last week
• habout632 / llms
  llms related stuff , including code, docs
  ☆13Updated 8 months ago
• ChaimEvans / ChatGLM_MultiGPUCPU_eval
  ✅4g GPU可用 | 简易实现ChatGLM单机调用多个计算设备（GPU、CPU）进行推理
  ☆34Updated 2 years ago
• ssbuild / qwen_finetuning
  qwen models finetuning
  ☆104Updated 8 months ago
• StarRing2022 / MiniRWKV-4
  实现Blip2RWKV+QFormer的多模态图文对话大模型，使用Two-Step Cognitive Psychology Prompt方法，仅3B参数的模型便能够出现类人因果思维链。对标MiniGPT-4，ImageBind等图文对话大语言模型，力求以更小的算力和资源实…
  ☆40Updated 2 years ago
• lilongxian / BaiYang-chatGLM2-6B
  （1）弹性区间标准化的旋转位置词嵌入编码器+peft LORA量化训练，提高万级tokens性能支持。（2）证据理论解释学习，提升模型的复杂逻辑推理能力（3）兼容alpaca数据格式。
  ☆45Updated 2 years ago
• cyber-tao / openai_api_playground
  You can play any API server that compatible with OpenAI API
  ☆24Updated last year
• ztxz16 / exvllm
  vllm混合推理扩展插件，支持多NUMA混合推理，单卡推理Qwen3-Next模型可达1000+ prefill
  ☆25Updated 2 weeks ago
• the-seeds / imitater
  Imitate OpenAI with Local Models
  ☆89Updated last year
• ssbuild / aigc_data
  share data， prompt data , pretraining data
  ☆36Updated last year
• li-xiu-qi / x-pdf2md
  本项目借助飞桨平台，构建起一套创新的多模型协同系统，实现 PDF 文件到 Markdown 文件的高效、精准转换。
  ☆26Updated 7 months ago
• t6am3 / law_glm_baseline
  ☆15Updated last year
• glide-the / InterpretationoDreams
  基于langchain设计的智能体任务，包含规划会话场景资源，构建子任务，任务执行器包含（MCTS）
  ☆31Updated last week
• ShaohonChen / transformers_from_scratch
  pretrain a wiki llm using transformers
  ☆55Updated last year
• Dylan9897 / LLM-TextClassification
  集成Qwen与DeepSeek等先进大语言模型，支持纯LLM+分类层模式及LLM+LoRA+分类层模式，使用transformers模块化设计和训练便于根据需要调整或替换组件。
  ☆14Updated 2 months ago
• Azure99 / BlossomData
  A fluent, scalable, and easy-to-use LLM data processing framework.
  ☆26Updated this week
• arcstep / illufly
  ✨🦋 illufly - 【幻蝶】基于记忆蒸馏、资料检索的自我进化智能体
  ☆74Updated this week
• shibing624 / SearchGPT
  SearchGPT: Building a quick conversation-based search engine with LLMs.
  ☆46Updated 10 months ago
• mobvoi / seq-monkey-data
  ☆167Updated last year
• boleyn / fastgpt-dataset-mcp
  解决知识库搜索需要手动编排流和意图识别的问题
  ☆18Updated 5 months ago
• flyme2023 / bge
  bge推理优化相关脚本
  ☆29Updated last year
• pangpang-xuan / Private-doctor-bot
  基于大模型生成内容的智能语音对讲
  ☆10Updated last year