Alternatives and similar repositories for fastllm

Users that are interested in fastllm are comparing it to the libraries listed below

• amulil / vector_by_onnxmodel
  accelerate generating vector by using onnx model
  ☆18Updated last year
• shell-nlp / gpt_server
  gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR和TTS的开源框架。
  ☆205Updated this week
• Orion-zhen / roleplay-dataset
  收集优质的角色扮演聊天数据 | Collection of roleplay conversations of high quality
  ☆14Updated 8 months ago
• habout632 / llms
  llms related stuff , including code, docs
  ☆13Updated 5 months ago
• ChaimEvans / ChatGLM_MultiGPUCPU_eval
  ✅4g GPU可用 | 简易实现ChatGLM单机调用多个计算设备（GPU、CPU）进行推理
  ☆34Updated 2 years ago
• peilongchencc / docker_tutorial
  介绍docker、docker compose的使用。
  ☆20Updated 11 months ago
• mMrBun / AIPC
  ☆58Updated 9 months ago
• cyber-tao / openai_api_playground
  You can play any API server that compatible with OpenAI API
  ☆24Updated last year
• Azure99 / BlossomData
  A fluent, scalable, and easy-to-use LLM data processing framework.
  ☆24Updated 3 weeks ago
• lilongxian / BaiYang-chatGLM2-6B
  （1）弹性区间标准化的旋转位置词嵌入编码器+peft LORA量化训练，提高万级tokens性能支持。（2）证据理论解释学习，提升模型的复杂逻辑推理能力（3）兼容alpaca数据格式。
  ☆45Updated 2 years ago
• glide-the / InterpretationoDreams
  使用langchain进行任务规划，构建子任务的会话场景资源，通过MCTS任务执行器，来让每个子任务通过在上下文中资源，通过自身反思探索来获取自身对问题的最优答案；这种方式依赖模型的对齐偏好，我们在每种偏好上设计了一个工程框架，来完成自我对不同答案的奖励进行采样策略
  ☆29Updated last month
• QwenLM / vllm-gptq
  A high-throughput and memory-efficient inference and serving engine for LLMs
  ☆137Updated 8 months ago
• billvsme / my_openai_api
  部署你自己的OpenAI api🤩, 基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型, 可以运行在单张Tesla T4显卡) ，实现了OpenAI中Chat, Models和Completions接口，包含流式响…
  ☆95Updated last year
• t6am3 / law_glm_baseline
  ☆15Updated last year
• CrazyBoyM / llama2-Chinese-chat
  首个llama2 13b 中文版模型 （Base + 中文对话SFT，实现流畅多轮人机自然语言交互)
  ☆91Updated last year
• li-xiu-qi / x-pdf2md
  本项目借助飞桨平台，构建起一套创新的多模型协同系统，实现 PDF 文件到 Markdown 文件的高效、精准转换。
  ☆22Updated 4 months ago
• zRzRzRzRzRzRzR / lm-fly
  大模型推理框架加速，让 LLM 飞起来
  ☆20Updated last year
• liangwq / deepSeekRecurrence
  deepseek思维树模式实现
  ☆18Updated 3 weeks ago
• ssbuild / qwen_finetuning
  qwen models finetuning
  ☆102Updated 5 months ago
• open-chinese / alpaca-chinese-dataset
  Alpaca Chinese Dataset -- 中文指令微调数据集
  ☆213Updated 10 months ago
• 1100111GTH / XG-RAG
  LLM RAG 应用，支持 API 调用，语音交互。
  ☆11Updated last year
• shibing624 / SearchGPT
  SearchGPT: Building a quick conversation-based search engine with LLMs.
  ☆47Updated 7 months ago
• flyme2023 / bge
  bge推理优化相关脚本
  ☆29Updated last year
• Ninot1Quyi / Qwen2.5-Omni-multimodal-chat
  基于通义千问 Qwen2.5-Omni 的实时语音对话系统，使用在线API服务，支持实时语音交互、动态语音活动检测和流式音频处理。A real-time voice conversation system based on Qwen2.5-Omni Online-API, …
  ☆62Updated 3 months ago
• llm-factory / imitater
  Imitate OpenAI with Local Models
  ☆88Updated 11 months ago
• ssbuild / aigc_data
  share data， prompt data , pretraining data
  ☆36Updated last year
• wangwenju269 / work_space
  NLP 项目记录档案
  ☆58Updated 3 months ago
• wingdzero / GLM4-RAG-Agent
  基于GLM4-Chat实现本地知识库查询以及Agent
  ☆7Updated last year
• ssbuild / rwkv_finetuning
  rwkv finetuning
  ☆37Updated last year
• infinigence / InfiniWebSearch
  A demo built on Megrez-3B-Instruct, integrating a web search tool to enhance the model's question-and-answer capabilities.
  ☆38Updated 7 months ago