Alternatives and similar repositories for fastllm:

Users that are interested in fastllm are comparing it to the libraries listed below

• QwenLM / vllm-gptq
  A high-throughput and memory-efficient inference and serving engine for LLMs
  ☆132Updated 3 months ago
• peilongchencc / docker_tutorial
  介绍docker、docker compose的使用。
  ☆20Updated 6 months ago
• Orion-zhen / roleplay-dataset
  收集优质的角色扮演聊天数据 | Collection of roleplay conversations of high quality
  ☆11Updated 3 months ago
• lilongxian / BaiYang-chatGLM2-6B
  （1）弹性区间标准化的旋转位置词嵌入编码器+peft LORA量化训练，提高万级tokens性能支持。（2）证据理论解释学习，提升模型的复杂逻辑推理能力（3）兼容alpaca数据格式。
  ☆45Updated last year
• shibing624 / chatgpt-webui
  ChatGPT WebUI using gradio. 给 LLM 对话和检索知识问答RAG提供一个简单好用的Web UI界面
  ☆122Updated 7 months ago
• ArtificialZeng / llama3_explained
  the newest version of llama3，source code explained line by line using Chinese
  ☆22Updated 11 months ago
• CrazyBoyM / llama2-Chinese-chat
  首个llama2 13b 中文版模型 （Base + 中文对话SFT，实现流畅多轮人机自然语言交互)
  ☆90Updated last year
• yongzhuo / ChatGLM2-SFT
  ChatGLM2-6B微调, SFT/LoRA, instruction finetune
  ☆106Updated last year
• minghaochen / chatglm3-base-tuning
  chatglm3base模型的有监督微调SFT
  ☆74Updated last year
• amulil / vector_by_onnxmodel
  accelerate generating vector by using onnx model
  ☆15Updated last year
• glide-the / InterpretationoDreams
  使用langchain进行任务规划，构建子任务的会话场景资源，通过MCTS任务执行器，来让每个子任务通过在上下文中资源，通过自身反思探索来获取自身对问题的最优答案；这种方式依赖模型的对齐偏好，我们在每种偏好上设计了一个工程框架，来完成自我对不同答案的奖励进行采样策略
  ☆29Updated last week
• zhangnn520 / znn_chatglm
  打造人人都会的NLP，开源不易，记得star哦
  ☆101Updated last year
• ssbuild / aigc_serving
  aigc_serving lightweight and efficient Language service model reasoning
  ☆24Updated 9 months ago
• 1100111GTH / XG-RAG
  LLM RAG 应用，支持 API 调用，语音交互。
  ☆11Updated 9 months ago
• shell-nlp / gpt_server
  gpt_server是一个用于生产级部署LLMs或Embedding的开源框架。
  ☆161Updated this week
• open-chinese / alpaca-chinese-dataset
  Alpaca Chinese Dataset -- 中文指令微调数据集
  ☆193Updated 5 months ago
• llm-factory / imitater
  Imitate OpenAI with Local Models
  ☆88Updated 7 months ago
• 480284856 / AsyncAudioChat
  异步语音对话组件。
  ☆18Updated 2 weeks ago
• ChaimEvans / ChatGLM_MultiGPUCPU_eval
  ✅4g GPU可用 | 简易实现ChatGLM单机调用多个计算设备（GPU、CPU）进行推理
  ☆34Updated last year
• mobvoi / seq-monkey-data
  ☆137Updated 10 months ago
• t6am3 / law_glm_baseline
  ☆15Updated 9 months ago
• StarRing2022 / MiniRWKV-4
  实现Blip2RWKV+QFormer的多模态图文对话大模型，使用Two-Step Cognitive Psychology Prompt方法，仅3B参数的模型便能够出现类人因果思维链。对标MiniGPT-4，ImageBind等图文对话大语言模型，力求以更小的算力和资源实…
  ☆38Updated last year
• billvsme / my_openai_api
  部署你自己的OpenAI api🤩, 基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型, 可以运行在单张Tesla T4显卡) ，实现了OpenAI中Chat, Models和Completions接口，包含流式响…
  ☆92Updated last year
• taishan1994 / qlora-chinese-LLM
  使用qlora对中文大语言模型进行微调，包含ChatGLM、Chinese-LLaMA-Alpaca、BELLE
  ☆85Updated last year
• habout632 / llms
  llms related stuff , including code, docs
  ☆13Updated last month
• ai408 / nlp-engineering
  专注于对话系统领域的技术分享，重点写《Dify应用操作和源码剖析》专栏。
  ☆88Updated 8 months ago
• flyme2023 / bge
  bge推理优化相关脚本
  ☆28Updated last year
• ssbuild / qwen_finetuning
  qwen models finetuning
  ☆93Updated 3 weeks ago
• shibing624 / imgocr
  Python3 package for Chinese/English OCR, with paddleocr-v4 onnx model(~14MB). 基于ppocr-v4-onnx模型推理，可实现 CPU 上毫秒级的 OCR 精准预测，通用场景中英文OCR达到开源SO…
  ☆65Updated 2 months ago
• ssbuild / aigc_data
  share data， prompt data , pretraining data
  ☆36Updated last year