Alternatives and similar repositories for llmbenchmark

Users that are interested in llmbenchmark are comparing it to the libraries listed below

• TRT2022 / ControlNet_TensorRT
  天池 NVIDIA TensorRT Hackathon 2023 —— 生成式AI模型优化赛 初赛第三名方案
  ☆50Updated 2 years ago
• FeiGeChuanShu / trt2023
  NVIDIA TensorRT Hackathon 2023复赛选题：通义千问Qwen-7B用TensorRT-LLM模型搭建及优化
  ☆43Updated 2 years ago
• DataXujing / Bert_TensorRT
  Bert TensorRT模型加速部署
  ☆10Updated 3 years ago
• DataXujing / DeepSeek-R1-Android
  安卓手机部署DeepSeek-R1 蒸馏的1.5B模型
  ☆22Updated 11 months ago
• DataXujing / YOLOv12-TensorRT
  YOLOv12 TensorRT 端到端模型加速推理和INT8量化实现
  ☆14Updated 10 months ago
• wjc852456 / ONNX-TensorRT-LibTorch
  deploy onnx models with TensorRT and LibTorch
  ☆19Updated 4 years ago
• AXERA-TECH / CLIP-ONNX-AX650-CPP
  ☆27Updated 6 months ago
• Xiaolong-RRL / qwen2_5_vllm_fastapi
  使用FastAPI+vLLM部署Qwen2.5
  ☆25Updated last year
• isLinXu / paper-read-notes
  paper-read-notes
  ☆14Updated last year
• richjjj / cuvid-tensorrt-multi
  ffmpeg+cuvid+tensorrt+multicamera
  ☆12Updated last year
• BaofengZan / mnn-llm-GOT-OCR2.0
  使用mnn-llm对GOT-OCR2.0进行推理
  ☆15Updated last year
• triple-mu / HunyuanDiT-TensorRT-libtorch
  HunyuanDiT with TensorRT and libtorch
  ☆18Updated last year
• ibaiGorordo / ONNX-YOLO-World-Open-Vocabulary-Object-Detection
  Python scripts performing Open Vocabulary Object Detection using the YOLO-World model in ONNX.
  ☆62Updated last year
• TRT2022 / trtllm-llama
  ☢️ TensorRT 2023复赛——基于TensorRT-LLM的Llama模型推断加速优化
  ☆51Updated 2 years ago
• sophgo / ChatGLM2-TPU
  run ChatGLM2-6B in BM1684X
  ☆49Updated last year
• cvdong / YOLO_TRT_SIM
  高效部署：YOLO X, V3, V4, V5, V6, V7, V8, EdgeYOLO TRT推理 ™️ ,前后处理均由CUDA核函数实现 CPP/CUDA🚀
  ☆53Updated 2 years ago
• hpc203 / face-gaze-estimation-opencv-dnn
  使用OpenCV部署L2CS-Net人脸朝向估计，包含C++和Python两个版本的程序，只依赖opencv库就可以运行
  ☆20Updated 2 years ago
• DataXujing / TensorRT-LLM-ChatGLM3
  大模型部署实战：TensorRT-LLM, Triton Inference Server, vLLM
  ☆26Updated last year
• lin-honghui / data-competition-calendar
  国内外数据竞赛资讯整理
  ☆18Updated 4 years ago
• isLinXu / DatasetMarkerTool
  🔨🔨🔨Tool for making model training data set
  ☆20Updated last year
• yvonwin / qwen2.cpp
  qwen2 and llama3 cpp implementation
  ☆49Updated last year
• kivenyangming / OpencvSocket
  这是一个使用opencv读取视频并使用socket进行传输视频画面的脚本文件，相较于调用ffmpeg传输节约了90%的数据量
  ☆11Updated last year
• DataXujing / YOLOv6
  手摸手 美团 YOLOv6模型训练和TensorRT端到端部署方案教程
  ☆34Updated 3 years ago
• EdVince / whisper-trtllm
  Whisper in TensorRT-LLM
  ☆17Updated 2 years ago
• cqu20160901 / FastSAM_onnx_rknn
  FastSAM 部署版本，便于移植不同平，部署简单、运行速度快。
  ☆24Updated last year
• ZHEQIUSHUI / CLIP-ONNX-AX650-CPP
  c++实现的clip推理，模型有一点点改动，但是不大，改动和导出模型的代码可以在readme里找到，模型文件都在Releases里，包括AX650的模型。新增支持ChineseCLIP
  ☆30Updated 6 months ago
• AgentMaker / AgentCLPR
  Chinese license plate recognition
  ☆29Updated 4 years ago
• sherlockchou86 / PyLangPipe
  a simple lightweight large language model pipeline framework.
  ☆28Updated 8 months ago
• hpc203 / Real-Time-Frame-Interpolation-onnxrun
  使用onnxruntime部署实时视频帧插值，包含C++和Python两个版本的程序
  ☆27Updated last year
• xiaqing10 / RKNN_YOLOV5S_CPP
  基于rknn的yolov5的cpp实现，包含各种依赖库，是一个完整工程，可直接编译运行
  ☆21Updated 3 years ago