GPU 功耗封顶:power cap 与 SM 频率档位对 P99 解码时延的影响曲线与机房密度取舍
更新时间:2026-10-03。这条「推理服务工程」线索前面已经铺了几块砖:连续批处理调度器 讲怎么把请求攒在一起喂 GPU,batch 增大时吞吐与时延的曲线 讲并发与时延的权衡。这两篇都默认 GPU 能一直跑在最高频率。但在真实机房里,供电和散热才是硬约束——一个机柜的电力配额装不下满配满功耗的 8 卡节点,于是运维会用
nvidia-smi -pl给每张卡做 GPU 功耗封顶(power cap)。封顶之后驱动会自动降频,推理时延跟着变化。这篇讲封顶怎么传导到 SM 频率、对 P99 解码时延影响多大,以及密度和时延怎么取舍。
本文要回答的问题
nvidia-smi -pl设了功耗封顶后,GPU 内部到底发生什么?是谁在降频、按什么步长降?- SM 频率档位是连续可调的吗?为什么时延随功耗的变化是「阶梯」而不是平滑曲线?
- LLM 推理里 prefill 和 decode 对降频的敏感度为什么差好几倍?
- 同样是封顶,降 10% 功耗和降 30% 功耗,P99 解码时延各涨多少?
- 机房电力配额固定时,「单卡高功耗少装卡」和「单卡封顶多装卡」哪个总吞吐更高?
一、power cap 的机制:驱动在毫秒级窗口上控频
功耗封顶不是「把电压焊死」,而是一个闭环控制。GPU 板载有电流/电压采样电路,固件(在 NVIDIA 卡上是 PMU 微控制器里的功耗管理算法)以毫秒级的周期读取板卡实时功耗,与 nvidia-smi -pl 设定的上限比较:一旦滑动窗口内的平均功耗要超线,就把 SM/显存的 DVFS 档位(DVFS 即动态电压频率调整,按负载实时升降电压和频率)往下拨;功耗回落有富余时再拨回去。整个过程对 CUDA 程序完全透明——kernel 照跑,只是时钟变慢。
设置本身只有一条命令:
nvidia-smi -pl 450 # 把当前卡功耗上限设为 450W(A100 默认 400W,H100 SXM 默认 700W)
nvidia-smi -q -d POWER # 查看当前上限、实时功耗、允许的设置范围两个容易踩的坑:其一,可调范围有硬边界,比如 H100 SXM 大约能在 100W 到 700W 之间设,低于某档直接拒绝;其二,降频优先砍 SM 时钟,显存时钟(HBM)档位少、调整滞后,这一点决定了后文 decode 和 prefill 敏感度的差异。
上图是功耗封顶的控制闭环。注意它是一个「平均功率」控制器:瞬时的功耗尖峰(比如一个大 batch prefill 启动瞬间)不会立刻触发降频,但持续高负载几百毫秒后频率一定会被压下来。所以 benchmark 时只跑 10 秒短测看到的时延,往往比长跑稳态好看——测 power cap 影响必须跑到热稳态,否则结论全是偏的。
二、频率档位是离散的:时延曲线为什么长出台阶
第二个关键事实:SM 时钟不是连续可调的,而是一组离散档位。以数据中心卡为例,boost 时钟之下每隔十几 MHz 一档,从最高档(如 H100 的 1980MHz)一路排到几百 MHz 的 idle 档。功耗管理固件只在档位之间跳,不会停在中间值。于是「功耗 vs 时延」的关系不是一条光滑曲线,而是阶梯:封顶值从 700W 降到 620W,如果稳态频率还停在同一档,时延几乎不动;再降 30W 跨过一个档位边界,频率跳一档,时延阶跃式抬一截。
这就是为什么网上不同人报的「降功耗对推理影响」数字互相矛盾——有人封顶 15% 时延纹丝不动,有人封顶 10% 时延就涨了 8%。他们不是一个人错,而是恰好站在台阶的不同位置:前者封顶后稳态档没变,后者正好踩过档界。做容量规划时正确的方法是把全档位的稳态时延扫一遍,画出阶梯曲线,然后找「台阶平台」而不是盯着百分比。
| 封顶功耗(H100 SXM,700W 默认) | 稳态 SM 频率(典型) | 相对满血时延 |
|---|---|---|
| 700W(默认) | 1980MHz | 1.00×(基准) |
| 550W(-21%) | 约 1830MHz | 约 1.05× |
| 450W(-36%) | 约 1620MHz | 约 1.15× |
| 350W(-50%) | 约 1380MHz | 约 1.35× |
表里数字是 70B 级模型 decode 重负载下的典型量级,具体档位因卡、因散热条件而异——同样的 450W,进风 25°C 的机房可能比 35°C 的机房多停一档。温度本身也参与降频决策(见 片上温度与热监控),所以功耗封顶和散热条件是耦合变量,不能孤立调。
三、prefill 与 decode:同一张卡,两种敏感度
LLM 推理两个阶段对降频的反应截然不同,这是 power cap 调参最值钱的一条认知。
decode(逐 token 生成)是访存受限:每步要把全部模型权重从 HBM 读一遍,SM 大量时间在等数据,算力利用率常常只有百分之十几。降 SM 频率对「等数据」这件事几乎没影响——瓶颈在显存带宽,而显存时钟降频优先级低、档位少。实测把 SM 频率砍 20%,decode 单步时延通常只涨 3% 到 8%。P99 解码时延的恶化更多来自间接路径:降频后单 batch 服务变慢、队列里排队的请求变多,连续批处理调度器 攒出的 batch 变大,排队时延叠加处理时延把尾部拉长。
prefill(提示词并行处理)是算力受限:注意力与 GEMM 把 SM 打满,功耗顶到天花板,恰好是最先触发降频的负载。SM 频率降多少,prefill 吞吐几乎线性掉多少——降 20% 频率,TTFT(首 token 时延)就涨 20% 上下。
上图把两条传导路径摆在一起。工程推论很直接:decode 密集型负载(长生成、短 prompt)是功耗封顶的最佳受害者——封顶砍掉的功耗多、牺牲的时延少;prompt 重的负载(长文档问答)则对封顶敏感得多。投机解码这类改变 decode 计算形态的优化(见 投机解码加速 LLM 推理)会提高 decode 的算力占比,封顶敏感度随之上升,两条优化路线要放在一起调。
四、机房密度取舍:封顶 30% 往往换来 40% 以上的总吞吐
最后把账算到机柜层面。一个典型的约束场景:机柜供电 15kW,满血 8 卡 H100 节点单柜只装得下 2 台多;但如果每张卡封顶到 450W(-36%),同样电力配额能装 3 台半。结合前面的敏感度数据做粗算:decode 型负载单卡时延恶化约 10% 到 15%(吞吐近似同比损失),装机密度却提升约 60%——机柜级总吞吐净增 40% 上下。电力是稀缺资源时,用单卡效率换密度几乎总是划算的,这也是头部推理集群普遍把 H100 封在 450W 到 550W 区间的原因。
反过来,三类情况不适合激进封顶:一是 prefill 占比高且有 TTFT 硬 SLO 的在线业务;二是液冷/电力富余的新机房,密度不是瓶颈;三是已上 MIG/MPS 切分做细粒度复用的卡,多实例并发时功耗叠加行为复杂,封顶容易触发意料外的频率抖动,P99 毛刺反而变多,需要按 推理服务容量规划 的方法逐档实测、对照 TTFT/TPOT 的 SLO 口径 验证后再定值。
落地动作清单也很短:扫全档位画阶梯曲线找平台、按负载 prefill/decode 比例定封顶值、跑到热稳态再采 P99、把封顶值写进机型画像与调度约束。四步走完,功耗封顶才从「运维土法」变成「容量规划工具」。
这一篇在知识体系里的位置
本篇属「推理服务工程」线索的资源约束侧:上游基础是 连续批处理调度器(并发怎么攒)与 batch 增大时吞吐与时延的曲线(时延随负载的形状,封顶相当于把整条曲线平移);同层对照 推理服务容量规划(把功耗封顶值纳入机型画像与装机测算)与 TTFT/TPOT 的 SLO 口径(封顶后时延是否达标按这个口径验收);硬件侧的补充是 片上温度与热监控(温度与功耗共同决定降频决策);下游延伸是集群级电力调度与散热设计。
总结
GPU 功耗封顶是固件在毫秒级窗口上比较平均功率、按离散 DVFS 档位下调 SM 时钟的闭环控制,所以时延随封顶值呈阶梯变化;decode 因访存受限对降频钝感(砍 20% 频率时延只涨几个点),prefill 因算力受限近似线性受损,P99 的恶化主要由 prefill 变慢和排队叠加承担——在电力受限的机房里,把 H100 封到 450W 上下、用 10% 出头的单卡时延换 40% 以上的机柜总吞吐,是推理集群的主流取舍。