NetEase-Media / grps_trtllm

【grps接入trtllm】通过接入TensorRT-LLM以及Tokenizers.cpp实现纯c++版本高性能LLM服务,兼容OpenAI接口协议,支持chat和function call模式,支持ai agent,支持分布式多卡推理,支持多模态,支持gradio聊天界面。
87Updated last week

Related projects

Alternatives and complementary repositories for grps_trtllm