推理容量规划:显存模型、QPS 利用率拐点与从 SLO 反推卡数
更新时间:2026-10-01。本篇是 LLM serving 系列里从「机制」走向「工程」的一篇:前面的文章把单实例内部的零件讲透了——KV cache 与推理显存 算了显存大头的账,continuous batching 调度器 讲了吞吐怎么提上去,TTFT、TPOT 与 SLO 定义了服务质量的度量,chunked prefill 与 PD 分离 解决两阶段互相拖累。零件齐了,接下来每个团队都会撞上同一个问题:老板问「日活十万、峰值 200 QPS 的对话产品,7B 和 70B 各要多少卡?」拍脑袋答不上来,拍贵了浪费预算,拍便宜了线上烧 SLO。推理容量规划(serving capacity planning)就是把这个问题从玄学变成一张可复算的表格。
本文要回答的问题
- 一张推理卡的显存到底怎么分?权重、KV cache、激活三段各占多少?
- 单实例的 QPS 上限怎么测,为什么不能按「压出来的最大值」配容量?
- GPU 利用率涨到多少时延开始失控,拐点怎么标定?
- 给定 SLO(TTFT、TPOT 的 P99)和流量画像,怎么一步步反推出卡数?
- 容量规划里最常见的五个坑各是什么?
一、显存三段账:权重是地板,KV 是变量,激活是余量
容量规划的第一性原理是显存。一张卡能同时服务多少并发请求,几乎完全由显存里能塞下多少 KV cache 决定——算力和带宽决定「跑多快」,显存决定「同时跑多少」。所以先把显存账算清楚。
显存消耗分三段。第一段是模型权重,这是地板,不动的:FP16/BF16 下 7B 模型约 14 GB,13B 约 26 GB,70B 约 140 GB(单卡放不下,要张量并行切到 2-4 张卡,见 张量并行与通信重叠)。上 INT8 量化权重减半、INT4 再减半,代价是精度与 kernel 开销,量化口径见 KV cache INT4 量化。
第二段是 KV cache,这是变量,随并发数和上下文长度线性涨。单 token 每层 KV 的字节数公式是 2(K 和 V)× 层数 × 头数 × 头维度 × 精度字节数——以 7B(32 层、32 头、128 维、FP16)为例,每 token 约 0.5 MB。一条平均 4k token 上下文的请求占 2 GB 左右;如果是 GQA(分组查询注意力)模型,KV 头数砍到 8 个,直接降到四分之一,这也是为什么新一代模型普遍上 GQA/MQA(见 GQA/MQA 与 KV 节省)。第三段是激活与运行时余量:中间激活、CUDA context、框架自身的 workspace,经验上留 5-10% 显存,PagedAttention 的分页管理(见 PagedAttention 与 vLLM serving)把碎片浪费压到很低,但仍要留预取和突发余量。
上图是一张 80 GB 卡跑 7B FP16 的切分。权重扣掉 14 GB,余量扣掉约 6 GB,剩下约 60 GB 全是 KV cache 池。按每请求 2 GB(4k 上下文)算,理论最大并发约 30 路;上 GQA 后每请求降到 0.5 GB,并发上限翻到 120 路。这个数字——「单实例最大并发」——是后面一切容量计算的乘数,先把它钉死。
还要提醒一个反直觉点:显存够用不等于并发能跑满。KV 池给出的是「装得下」的上限,而调度器实际敢不敢把并发推上去,取决于时延表现——200 路并发同时 decode,TPOT 必然被带宽摊薄拉长,可能在显存撞墙之前 SLO 就先破了。所以 N 是天花板,不是工作点;真正的工作点由下一节的压测决定。另外多实例部署时还要注意每张卡的实际可用显存会因驱动占用、其他进程残留而缩水几个 GB,规划时按实测 nvidia-smi 的空闲值算,不要按标称值算,这批细节差一两个 GB 在高并发配置下就是几十路并发的出入。
| 模型(FP16) | 权重 | 单 token KV(全层) | 4k 上下文单请求 KV | 80G 卡 KV 池并发 |
|---|---|---|---|---|
| 7B(MHA 32 头) | 14 GB | 约 0.5 MB | 约 2 GB | 约 30 路 |
| 7B(GQA 8 KV 头) | 14 GB | 约 0.125 MB | 约 0.5 GB | 约 120 路 |
| 13B(GQA) | 26 GB | 约 0.1 MB | 约 0.4 GB | 约 120 路 |
| 70B(GQA,2 卡 TP) | 70 GB/卡 | 约 0.08 MB | 约 0.33 GB | 约 25 路/实例 |
二、单实例 QPS 上限:压测出来的曲线才有用
显存给出并发上限,但真实 QPS 上限由时延决定。办法只有一个:压测。用生产同款流量画像(prompt 长度分布、输出长度分布、到达间隔)打单机,逐级抬 QPS,记录每一档的吞吐、TTFT P99、TPOT P99。画出来是一条典型曲线:低负载时 TTFT 平、TPOT 平,吞吐随 QPS 线性涨;过了某个点,排队开始堆积,P99 先抬头,均值还很好看;再往上,时延垂直起飞,吞吐见顶甚至回落(continuous batching 的调度开销和显存抢占开始反噬)。
关键纪律是:容量按拐点前的 QPS 配,不按最大吞吐配。拐点后系统没有「变慢一点」的缓冲,到达率一个尖峰就直接进入失控区,而且 LLM serving 的失控是非线性的——请求超时重试会叠加新流量,雪崩很快。工程上把「SLO 红线恰好被击穿的那一档 QPS」记为单实例额定容量,再乘 0.7 作为日常水位线,剩 30% 留给流量尖峰、慢请求突发和滚动发布。
还有两个压测细节容易翻车。一是流量画像失真:拿 200 token 的短 prompt 压出来的 QPS,放到 4k 长 prompt 的生产流量上直接打四折,prompt 长度分布必须回放真实日志。二是输出长度:decode 阶段的 QPS 承载力和输出长度强相关(每条请求占卡时间 = 输出 token 数 × TPOT),客服场景 200 字输出和代码生成 2000 token 输出是两种容量。压测矩阵至少要覆盖「短入短出、长入短出、短入长出」三档。
压测本身的工具链也值得说两句。常见错误是用同步客户端串行发请求——那测的是客户端不是服务器;必须用异步并发客户端按目标 QPS 定速打流(open-loop,开环),而不是「一个请求回来再发下一个」的闭环模式,闭环会掩盖排队效应,压出来的拐点系统性偏高。到达间隔最好按泊松分布抖动而不是严格匀速,真实流量是有突发性的,匀速压测会把拐点往高估。每一档至少跑 10 分钟并丢弃前 2 分钟的预热数据(前缀缓存冷、KV 池未稳定),只取稳态段的 P99。最后,压测要在生产同款软件栈上做:vLLM 版本、CUDA 版本、量化配置、是否开 chunked prefill 都会移动拐点位置,拿 v0.4 的数据给 v0.6 的集群做规划,等于没测。
三、利用率拐点的经济学:70% 是天花板不是目标
很多团队把「GPU 利用率」当容量目标,觉得卡没跑满就是浪费。这个直觉在离线训练里对,在线 serving 里是坑。排队论的基本结论(M/M/c 类模型)是:利用率趋近 100% 时,排队时延趋近无穷大;时延对利用率敏感的区间从 60-70% 就开始了。LLM serving 还多一层恶化因子:请求服务时间本身方差极大(输出长度重尾),同样的利用率下时延尾部分布比经典排队模型更肥。
所以容量规划里利用率的角色是「验证指标」而不是「目标」:配完卡数后回头看利用率,如果日常只有 30%,说明超配了可以降档;如果日常冲到 75%,说明 SLO 随时会破,必须加卡。合理的运行区间是 50-70%,超过 70% 进入「省钱但危险」区,低于 40% 进入「安全但烧钱」区。这也是为什么 PD 分离(见 chunked prefill 与 PD 分离)在容量规划里值钱:prefill 池按算力配、decode 池按显存带宽配,两个池各自都能压到更高的利用率而不互相干扰,总卡数常常比混跑省 20-30%。
四、从 SLO 反推卡数:五步完整流程
把前面三节拼起来,从 SLO 到卡数是一条五步流水线,每一步都有具体产出物。
第一步,定 SLO 和流量画像。SLO 用 P99 不用均值:比如 TTFT P99 不超过 2 秒、TPOT P99 不超过 100ms。流量画像至少要有:峰值 QPS(取历史峰值的 1.5 倍做规划值)、prompt 长度分布、输出长度分布。第二步,算单实例并发上限:按第一节的显存三段账,得出 KV 池能容纳的并发请求数 N。第三步,压测单实例:在生产画像下逐级加压,找到 SLO 红线被击穿的 QPS,记为额定容量 C,乘以 0.7 得水位容量。第四步,校验并发不撞墙:水位 QPS × 平均请求驻留时间(TTFT 加输出 token 数乘 TPOT)不能超过 N,否则瓶颈是显存不是吞吐,要么上 GQA/量化 KV、要么减上下文上限。第五步,卡数 = 峰值 QPS ÷ 水位容量,向上取整,再加 1 台冗余(滚动发布和单点故障用)。
代入一个完整例子。产品峰值 100 QPS,规划值取 150;平均 prompt 2k、输出 300 token;模型 7B GQA FP16 上 80G 卡,SLO 是 TTFT P99 两秒、TPOT P99 一百毫秒。显存账:KV 池约 60 GB,单请求平均 2.3k token 上下文约 0.3 GB,N 约 200 路并发——显存很宽裕。压测:该实例在 12 QPS 时 TPOT P99 触线,额定容量 C = 12,水位容量 8.4 QPS。并发校验:驻留时间约 2 秒(TTFT)加 300 × 60ms 约 20 秒,水位下平均并发 8.4 × 22 约 185 路,贴着 N 但没撞墙——注意这里 decode 时长主导驻留时间,输出长的场景并发校验经常是先撞的那个。卡数:150 ÷ 8.4 约 18,加 1 冗余共 19 张卡。整个推导每一步都可复核,老板challenge 哪一步都有数字接。
如果 19 张卡太贵,优化路径也是结构化的:INT8 量化权重腾显存没意义(瓶颈不在显存),真正有效的是砍 TPOT(投机解码、更好的 kernel)直接抬高 C,或者上 PD 分离把 prefill 从 decode 池里挪走。每条路径对 C 和 N 的影响都能重新代进同一个公式——这就是建模的价值,方案比较变成了算术题。这个例子里还藏着一条经验:输出长度主导驻留时间的业务(长文本生成、代码补全),容量优化优先级永远是「先砍输出侧时延,再谈加卡」;反过来输入主导的业务(长文档问答、RAG),优先上 PD 分离和前缀缓存。同一张卡数公式,瓶颈落在不同参数上,花钱的方向完全不同。
五、五个最常见的坑
第一个坑,按均值不配尾部分布。平均 prompt 2k 不代表没有 32k 的长请求,一条长请求的 KV 占用顶十条短请求,容量公式里的 N 和 C 都要按 P95 画像重算一遍。第二个坑,忘了前缀缓存的红利与波动。开启前缀缓存后多轮对话的重复前缀命中率高,等效 KV 和 prefill 开销都会下降,但缓存命中率随流量模式波动,按命中率高点配的容量在冷启动时段会不够。第三个坑,把多实例当线性扩展。负载均衡不均、热点 key、长请求扎堆某实例,集群有效容量通常是「单机容量 × 台数 × 0.85」,不是满乘。第四个坑,忽略流量结构变化:产品上一个「上传文档总结」功能,prompt 长度分布一夜之间从 500 跳到 8k,容量模型全部作废——容量规划要和产品功能上线联动,一季度重算一次是底线。第五个坑,冗余只做 N+1 不考虑故障域:19 台卡如果全在一个机柜一条供电上,一次断电全没,冗余要跨机架甚至跨可用区,这部分成本进规划表,不进也不行。
| 坑 | 表现 | 对策 |
|---|---|---|
| 按均值配 | 长请求一来 SLO 全破 | 画像按 P95,尖峰按 1.5 倍 |
| 缓存红利高估 | 冷启动时段容量不足 | 按命中率低点配 |
| 线性扩展假设 | 集群容量虚高 15% | 有效系数 0.85 |
| 画像漂移 | 新功能上线后容量作废 | 季度重算,上线联动 |
| 冗余同故障域 | 一次断电全灭 | 跨机架跨可用区 |
表格之外再补一条组织层面的经验:容量规划的产出物不只是一个卡数,而应该是一份「容量手册」——记录流量画像来源、压测环境、每步推导的数字和假设,以及重新计算的触发条件(流量涨 30%、上新功能、换模型、换框架版本)。没有手册的团队,每次扩容都是从头再吵一遍;有手册的团队,扩容是查表。另外建议把容量公式做成一个内部小工具或电子表格,把 N、C、驻留时间、峰值 QPS 做成可填参数,产品同学自己就能算「如果日活翻倍要加几张卡」,容量规划从 SRE 的专属技能变成全团队共享的常识,沟通成本会下降一个数量级。
这一篇在知识体系里的位置
本篇把 serving 系列的机制文章收拢成工程方法:显存账依赖 KV cache 与推理显存 和 GQA/MQA 与 KV 节省;并发与吞吐模型依赖 continuous batching 调度器 和 PagedAttention 与 vLLM serving;SLO 定义来自 TTFT、TPOT 与 SLO;利用率优化路径指向 chunked prefill 与 PD 分离;多卡切分与 张量并行与通信重叠、多 GPU NVLink 互联 直接决定 70B 以上模型的单实例形态。容量规划是这些知识唯一正确的消费方式:不是每张机制都懂,而是每张机制都能换算成卡数公式里的一个系数。
总结
推理容量规划的本质是一笔三段账加一条红线:显存按「权重地板 + KV 变量 + 激活余量」算出并发上限 N,压测按 SLO 红线(不是最大吞吐)定出单实例水位容量 C,卡数 = 峰值 QPS ÷ C ÷ 0.7 再加冗余,全程按 P95 流量画像取值、按 50-70% 利用率区间验收、按季度随画像漂移重算——把「要几张卡」从拍脑袋变成可复核的算术。