LLM 推理服务 SLO:TTFT 与 TPOT 指标分解、SLO 制定方法与调度影响全解
更新时间:2026-09-30。在 Continuous Batching 调度器 里,重点是迭代级调度怎么把吞吐拉起来;在 PagedAttention 与 vLLM 服务化 里,重点是显存分页怎么支撑更大 batch。这一篇换一个视角:不谈怎么把系统跑快,谈怎么定义「快」——给一套 LLM 推理服务制定 SLO(Service Level Objective,服务级别目标)时,TTFT 和 TPOT 到底量的是什么、分位数怎么选、调度器和 batch 策略会怎样同时改变这两个指标。
本文要回答的问题
- TTFT 和 TPOT 分别覆盖一次请求的哪段时间,为什么不能用「端到端平均延迟」代替?
- prefill 和 decode 两个阶段的计算性质差在哪,为什么一个吃算力一个吃显存带宽?
- 制定 SLO 时为什么必须看 P90/P99 分位数,而不是均值?
- batch size 调大时 TTFT 和 TPOT 各自怎么变,为什么两者经常互相打架?
- 排队时间、抢占、KV cache 换出这些调度事件会在指标上留下什么痕迹?
一、为什么不能用一个「平均延迟」打天下
传统 Web 服务的 SLO 好定:请求进来、响应出去,量一个端到端延迟,定个 P99 < 200ms 就完事。LLM 推理服务不一样——一次请求的响应是流式的几十个到几千个 Token,用户感受到的「快」由两个完全不同的维度组成:
- 首 Token 延迟 TTFT(Time To First Token):从请求发出到第一个 Token 吐出来的时间。它决定用户「等了多久才开始看到回复」,是交互类产品(聊天助手、搜索问答)最敏感的指标。
- 逐 Token 输出间隔 TPOT(Time Per Output Token):第一个 Token 之后,相邻 Token 之间的平均间隔。它决定回复「流得快不快」,直接影响阅读跟不跟得上——人类阅读速度大约是每秒 5-10 个英文 Token,TPOT 低于 100ms 用户就觉得流畅,高于 300ms 就有明显的「打字机卡顿感」。
一个系统完全可能 TTFT 很好但 TPOT 很差(比如 prefill 独占算力、decode 被大 batch 拖慢),也可能反过来。如果只用端到端平均延迟(总时长 / Token 数)考核,长回复会把 TTFT 摊薄到看不见,短回复会让 TPOT 的问题暴露不出来,两个维度的故障都会被平均值掩盖。所以业界的通行做法是两个指标分开定 SLO、分开监控、分开报警。
上图把一次请求的生命周期按时间轴拆开。注意两个指标的「成分」完全不同:TTFT 里既有调度排队时间,也有 prefill 计算时间;TPOT 则是纯 decode 阶段的迭代间隔均值。这个成分差异决定了后面所有优化手段的归因——想压 TTFT 先查排队和 prefill 算力,想压 TPOT 盯 decode 的显存带宽和 batch 构成。
二、prefill 与 decode:两种完全不同的计算
TTFT 和 TPOT 之所以要分开,根源是 prefill 和 decode 是两种计算性质截然不同的工作负载。
prefill(预填充)阶段:把整个 prompt(可能几百到几万 Token)一次性送进模型做并行前向。输入是矩阵,所有位置的注意力可以并行算,GPU 的矩阵乘单元吃得满满的,是典型的**计算受限(compute-bound)**负载。prompt 越长,prefill 耗时近似线性增长;batch 里多塞几个 prefill,算力被打满后延迟就线性恶化。
decode(解码)阶段:每次只生成一个 Token,前向的输入是长度 1 的向量,但注意力要读回历史全部 KV cache(Key-Value 缓存,每个历史 Token 在每层的 K、V 张量)。计算量小、显存访问量大,是典型的**显存带宽受限(memory-bandwidth-bound)**负载。decode 的迭代间隔主要取决于「从 HBM 搬多少字节」:模型权重每步都要完整读一遍,KV cache 随上下文长度线性增长。
| 维度 | prefill(决定 TTFT) | decode(决定 TPOT) |
|---|---|---|
| 计算形态 | 矩阵乘,并行度高 | 矩阵向量乘,并行度低 |
| 瓶颈资源 | GPU 算力(FLOPS) | 显存带宽(GB/s) |
| 随上下文增长 | 计算量线性到平方增长 | 每步多搬一份 KV cache |
| batch 增大的效果 | 算力打满后排队,TTFT 恶化 | 带宽利用率提升,吞吐涨、单请求 TPOT 缓涨 |
| 典型优化方向 | 算力扩容、chunked prefill | KV cache 量化、更大 batch |
这套二分法直接催生了一种架构选择:prefill/decode 分离部署——把 prefill 跑在一组算力强的节点上,decode 跑在带宽高的节点上,中间传 KV cache。这样两种 SLO 可以独立扩容、独立保障,互不拖累。代价是多一次 KV cache 的跨机传输,只对长上下文场景划算。
三、SLO 怎么定:分位数、预算与分解
定 SLO 最常犯的错误是用均值。LLM 推理延迟的分布是重尾的:大部分请求很快,但少数长 prompt 请求、被抢占的请求、KV cache 换出的请求会拖出 10 倍于中位数的延迟。均值在重尾分布下既不稳健也代表不了用户体验——一个均值 800ms 的服务,可能一半用户 300ms、十分之一用户 5 秒。正确姿势是按分位数定目标:
# 一个典型的聊天场景 SLO 配置
TTFT: P50 < 500ms, P90 < 1.5s, P99 < 3s
TPOT: P50 < 60ms, P90 < 120ms, P99 < 250ms
可用性: 成功率 > 99.9%(超时 30s 记失败)分位数选哪几档有讲究。P50 反映「典型体验」,用来盯回归;P90 是产品体验的承诺线,交互类产品的用户容忍度一般卡在这里;P99 是系统健康的晴雨表,专门暴露排队、抢占、慢节点这类尾部问题。定 P99 目标时还要想清楚分母:按「全部请求」还是「成功请求」算?超时请求记多少秒?口径不写清,P99 就是任人打扮的数字。
SLO 数值从哪来?不是拍脑袋,是从体验倒推加从系统正推,两头碰:
上图是制定 SLO 的完整回路:体验侧给出「用户能接受的上限」,系统侧用压测和排队模型给出「当前容量下能达到的分布」,两边对不上时只有三条路——扩容、降并发承诺(限流)、放宽 SLO。任何不谈容量预算的 SLO 都是空头支票。
定完总量还要做预算分解:TTFT 的 1.5 秒里,排队给多少、prefill 计算给多少?经验上 prefill 计算占预算的 60%-70%,剩下留给排队——这决定了调度器允许请求排多久。如果实测排队时间稳定超过预算,说明到达率已经贴着容量上限跑,要么限流要么扩容,没有第三条路。
四、batch 与调度:两个指标的反向拉扯
调大 batch 是提升吞吐的第一手段,但它对 TTFT 和 TPOT 的影响方向相反,这是 LLM 服务调优的核心矛盾。
对 decode 来说,batch 增大基本是好买卖:权重每步只搬一遍,batch 内所有请求共享,算力利用率上升,单请求 TPOT 只是缓慢变差(KV cache 读取量随 batch 内上下文总长度增长)。在带宽没打满之前,吞吐近似线性涨,TPOT 几乎不动。
对 prefill 来说,batch 增大是双刃剑。传统静态 batching 要等凑齐一批才跑,等待时间直接灌进 TTFT;就算不等,一个正在执行的长 prompt prefill 会独占算力几百毫秒甚至几秒,期间所有 decode 迭代被卡住——这就是教科书级的 head-of-line blocking(队头阻塞):一个 prefill 卡住全 batch 的 TPOT。
上图列出三种调度策略的取舍。prefill 优先让新请求 TTFT 漂亮,但每次 prefill 插入都会让 decode 停顿一拍,TPOT 的 P99 出现规律性的尖刺——在监控图上的表现就是 TTFT 曲线平滑、TPOT 曲线一排针状毛刺。decode 优先(老请求跑完才放新 prefill)则相反,TTFT 的 P99 在高峰期恶化。chunked prefill(把长 prompt 切成 256-512 Token 的块,每次迭代混合一个 prefill 块和若干 decode)是目前的主流折中:切片大小成为调 TTFT/TPOT 配平的旋钮,块越小越偏 decode 优先。这套机制的调度细节在 Continuous Batching 调度器 里有完整展开。
continuous batching(连续批处理)本身对指标的影响也值得说清。它按迭代粒度调度:每跑完一步就检查有没有请求结束、有没有新请求能补位,batch 构成随时在变。好处是 GPU 不空转、吞吐比静态 batching 高 2-5 倍;代价是单个请求的 TPOT 不再恒定——batch 里突然补进一个长上下文请求,所有人的 KV cache 读取总量都涨,TPOT 会随 batch 水位波动。所以监控 TPOT 时一定要看分位数而不是单次采样,并且要把「请求被调度器抢占(preemption)」这类事件单独打点,否则波动原因根本归不了因。
五、显存、KV cache 与尾部延迟
TTFT 和 TPOT 的天花板最终都落在显存上。一个请求的 KV cache 占用 = 层数 × 2(K 和 V)× 每头维度 × 头数 × 上下文长度 × 字节数,7B 模型 FP16 下大约是每 Token 0.5MB 上下,70B 模型能到 1.6MB。显存里能同时容纳的 KV cache 总量决定了最大并发请求数,这是系统容量的硬边界。
显存吃紧时调度器的两种应激反应,都会在指标上留下特征指纹:
- 排队加深:新请求进不来,TTFT 的 P99 率先恶化,P50 还比较稳。监控上看到 TTFT 分布的尾部和头部开始「劈叉」,就是容量到顶的早期信号。
- 抢占与换出:调度器把低优先级请求的 KV cache 换到 CPU 内存甚至重算,被恢复的请求 TTFT(如果还没出首 Token)或 TPOT(如果在 decode 中途)会出现一次性的大尖峰。这类尖峰的分位数位置不固定,但量极大,P99 会被直接打穿。
上图想强调的点是:并发容量不是固定的请求数,而是 KV cache 总字节数的预算。32 个 2K 上下文的请求和 2 个 32K 上下文的请求占用相当,所以 SLO 承诺必须附带流量画像假设(平均 prompt 长度、平均生成长度),流量画像变了,同样的机器能扛的并发完全不同。KV cache 的显存账怎么算、怎么省,在 KV cache 显存管理 里有逐项拆解;分页管理怎么把碎片损失压下去,见 PagedAttention 与 vLLM 服务化。
六、落地:监控、归因与迭代
SLO 定出来只是开始,让它持续成立需要一套围绕两个指标的监控归因闭环:
| 观测到的现象 | 最可能的原因 | 第一动作 |
|---|---|---|
| TTFT P99 恶化、P50 稳 | 排队加深,容量到顶 | 看 KV cache 水位,限流或扩容 |
| TTFT 整体随 prompt 长度恶化 | prefill 算力不足 | 考虑 chunked prefill 或 prefill 节点扩容 |
| TPOT 规律性针状毛刺 | prefill 插入打断 decode | 调小 prefill 切片或改 decode 优先 |
| TPOT 随并发缓涨 | 带宽接近打满,正常挤压 | 确认是否仍在 SLO 内,是则接受 |
| TPOT 偶发巨大尖峰 | 抢占换出或慢节点 | 打点归因抢占事件,查节点健康 |
| 两个指标同时恶化 | 流量画像变化(更长上下文) | 重新核算 KV cache 容量预算 |
压测方法也有讲究:不能用固定长度的合成 prompt 打,要用生产流量的真实分布重放,包括 prompt 长度分布、生成长度分布、到达间隔分布。合成短 prompt 压出来的 TTFT/TPOT 永远比生产好看,因为 KV cache 压力被系统性低估了。验收标准同样落在分位数上:在目标并发下连续压 30 分钟以上,P90/P99 两个指标同时达标才算过,短压测测不出排队和换出的尾部效应。
常见坑
- 只定一个「平均响应时间 < 2s」当 SLO,TTFT 和 TPOT 的问题互相摊薄,两边故障都看不见。
- 用均值或单次采样考核 TPOT,被抢占尖峰和 batch 水位波动反复误判。
- SLO 没有绑定流量画像,上线后真实用户 prompt 比压测长 10 倍,KV cache 预算直接超支。
- 为了吞吐把 batch 拉满,decode 带宽打满后 TPOT 越线,用户看到的是「越到高峰越卡」。
- prefill 和 decode 混部在同组节点,长 prompt 一来全场 TPOT 抖动,归因查半个月。
- 压测跑 2 分钟就宣布达标,排队和抢占这些分钟级的尾部效应根本没被采样到。
这一篇在知识体系里的位置
- 向上承接:本篇定义的两个指标是 Continuous Batching 调度器 全部调度策略的评价函数——迭代级调度、抢占、chunked prefill 的取舍都要回到 TTFT/TPOT 的账本上读。
- 横向相关:KV cache 显存管理 回答「容量从哪来」,本篇回答「容量怎么换算成体验承诺」;PagedAttention 与 vLLM 服务化 讲显存分页机制,本篇讲分页省下的容量如何折算成 SLO 余量。
- 应用延伸:prefill 吃算力、decode 吃带宽的硬件根因,可在 TensorRT 推理优化 的 kernel 与图优化视角里得到印证;KV cache 量化则是 INT8/INT4 量化与校准 方法论在服务化场景的直接变体。
总结
LLM 推理服务 SLO 的全部学问是承认「快」有两个维度并分开承诺:TTFT 由排队加 prefill 构成、吃算力,TPOT 是 decode 迭代间隔、吃显存带宽;目标按 P90/P99 分位数定,数值由体验上限和容量压测两头碰出;batch 与调度策略在两个指标间反向拉扯,chunked prefill 的切片大小是配平旋钮;显存里 KV cache 总字节数决定并发容量天花板,SLO 必须绑定流量画像,监控靠「分位数形态变化」归因到排队、抢占或带宽打满这三类根因上。