Alternatives and similar repositories for fastllm

Users that are interested in fastllm are comparing it to the libraries listed below

• BryanMurkyChan / Project_Miao
  一起来养一只拥有专属记忆的AI猫猫吧！
  ☆10Updated 11 months ago
• billvsme / my_openai_api
  部署你自己的OpenAI api🤩, 基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型, 可以运行在单张Tesla T4显卡) ，实现了OpenAI中Chat, Models和Completions接口，包含流式响…
  ☆96Updated last year
• Orion-zhen / roleplay-dataset
  收集优质的角色扮演聊天数据 | Collection of roleplay conversations of high quality
  ☆15Updated 10 months ago
• mMrBun / AIPC
  ☆58Updated 11 months ago
• zRzRzRzRzRzRzR / lm-fly
  大模型推理框架加速，让 LLM 飞起来
  ☆20Updated last year
• ChaimEvans / ChatGLM_MultiGPUCPU_eval
  ✅4g GPU可用 | 简易实现ChatGLM单机调用多个计算设备（GPU、CPU）进行推理
  ☆34Updated 2 years ago
• QwenLM / vllm-gptq
  A high-throughput and memory-efficient inference and serving engine for LLMs
  ☆137Updated 10 months ago
• amulil / vector_by_onnxmodel
  accelerate generating vector by using onnx model
  ☆17Updated last year
• shell-nlp / gpt_server
  gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR、TTS、文生图、图片编辑和文生视频的开源框架。
  ☆213Updated 2 weeks ago
• habout632 / llms
  llms related stuff , including code, docs
  ☆13Updated 7 months ago
• peilongchencc / docker_tutorial
  介绍docker、docker compose的使用。
  ☆21Updated last year
• Azure99 / BlossomData
  A fluent, scalable, and easy-to-use LLM data processing framework.
  ☆26Updated 2 months ago
• shibing624 / SearchGPT
  SearchGPT: Building a quick conversation-based search engine with LLMs.
  ☆46Updated 9 months ago
• chu-tianxiang / vllm-gptq
  A high-throughput and memory-efficient inference and serving engine for LLMs
  ☆131Updated last year
• CrazyBoyM / llama2-Chinese-chat
  首个llama2 13b 中文版模型 （Base + 中文对话SFT，实现流畅多轮人机自然语言交互)
  ☆91Updated 2 years ago
• glide-the / InterpretationoDreams
  基于langchain设计的智能体任务，包含规划会话场景资源，构建子任务，任务执行器包含（MCTS）
  ☆29Updated this week
• t6am3 / law_glm_baseline
  ☆15Updated last year
• lilongxian / BaiYang-chatGLM2-6B
  （1）弹性区间标准化的旋转位置词嵌入编码器+peft LORA量化训练，提高万级tokens性能支持。（2）证据理论解释学习，提升模型的复杂逻辑推理能力（3）兼容alpaca数据格式。
  ☆45Updated 2 years ago
• cyber-tao / openai_api_playground
  You can play any API server that compatible with OpenAI API
  ☆24Updated last year
• kaixindelele / ChatSensitiveWords
  利用LLM+敏感词库，来自动判别是否涉及敏感词。
  ☆129Updated 2 years ago
• open-chinese / alpaca-chinese-dataset
  Alpaca Chinese Dataset -- 中文指令微调数据集
  ☆214Updated last year
• xinsblog / chatglm-tiny
  从头开始训练一个chatglm小模型
  ☆49Updated 2 years ago
• li-xiu-qi / Smartlmager
  一个基于多模态向量模型及视觉多模态模型构建的图片搜索引擎&管理系统，实现精准的以文搜文，文搜图、以图搜图多种智能检索方式。An image search engine management system built upon multimodal vector models…
  ☆63Updated 2 weeks ago
• li-xiu-qi / x-pdf2md
  本项目借助飞桨平台，构建起一套创新的多模型协同系统，实现 PDF 文件到 Markdown 文件的高效、精准转换。
  ☆26Updated 6 months ago
• OrionStarAI / OrionStar-Yi-34B-Chat
  OrionStar-Yi-34B-Chat 是一款开源中英文Chat模型，由猎户星空基于Yi-34B开源模型、使用15W+高质量语料微调而成。
  ☆261Updated last year
• ssbuild / qwen_finetuning
  qwen models finetuning
  ☆104Updated 7 months ago
• gan / glm4v-assistant
  Sample GLM4V + ChatTTS AI assistant
  ☆85Updated last year
• mobvoi / seq-monkey-data
  ☆164Updated last year
• yichen-byte / medical-chatbot
  基于ChatGLM3基座模型和LLAMA-Factory框架进行微调的一个中医问答机器人
  ☆98Updated last year
• Dylan9897 / LLM-TextClassification
  集成Qwen与DeepSeek等先进大语言模型，支持纯LLM+分类层模式及LLM+LoRA+分类层模式，使用transformers模块化设计和训练便于根据需要调整或替换组件。
  ☆14Updated last month