我的推理服务每月要花多少钱?

输入服务规模(QPS / 每请求 token / 并发 / 上下文),得到所需卡数与每月电费 + 租金。

输入参数

所需卡数
吞吐 / 显存两约束取大
每月租金
每月电费
含系统开销与 PUE
月度合计
租金 + 电费
吞吐约束卡数
roofline 单卡吞吐
显存约束卡数
权重 + KV cache

本页面需要在线使用

计算器由服务端提供算力支持,保存到本地的副本无法运行。请访问官方站点使用。

用同一组参数继续算

吞吐按 roofline 单卡吞吐(batch=32),显存按权重 + KV cache(×1.15 框架开销),所需卡数取两者较大值。按 24×7 满载计电费(含系统开销与 PUE)。租赁价每周更新。结果用于数量级估算与容量规划。