输入服务规模(QPS / 每请求 token / 并发 / 上下文),得到所需卡数与每月电费 + 租金。
计算器由服务端提供算力支持,保存到本地的副本无法运行。请访问官方站点使用。
吞吐按 roofline 单卡吞吐(batch=32),显存按权重 + KV cache(×1.15 框架开销),所需卡数取两者较大值。按 24×7 满载计电费(含系统开销与 PUE)。租赁价每周更新。结果用于数量级估算与容量规划。