JohnMing143 / llm-api-speedtester
View external linksLinks

这是一个部署在 Cloudflare Worker 上的小工具,用于测试大语言模型 (LLM) API 的调用速度和性能。它可以测量不同输入和输出 Token 组合下的吞吐量 (tokens/sec) 和首个 Token 的平均响应延迟。
23May 18, 2025Updated 8 months ago

Alternatives and similar repositories for llm-api-speedtester

Users that are interested in llm-api-speedtester are comparing it to the libraries listed below

Sorting:

Are these results useful?