1 度电能产多少 Token?

每 token 能耗 = 系统功耗 × 每 token 时间 × PUE。每 token 时间由 roofline 模型决定 —— 计算时间与显存带宽时间取大者,batch 摊薄权重读取。

输入参数

每度电产出 token
tokens / kWh(墙电)
每百万 token 电费
¥ / M tokens
每 token 能耗
焦耳 / token(含 PUE)
单卡吞吐
tokens / 秒 / GPU

本页面需要在线使用

计算器由服务端提供算力支持,保存到本地的副本无法运行。请访问官方站点使用。

Batch size 对能耗的影响(对数坐标)

tokens/kWh 当前 batch 位置

用同一组参数继续算

结果用于数量级估算与参数敏感性分析。模型与硬件数据库由服务端维护并持续更新。