goodput 调度:SLO 感知的 LLM 批处理与 deadline 决策
更新时间:2026-10-02。前面几篇一直在往「更高的吞吐」使劲:continuous batching 调度器 把批次槽位随时填满,PagedAttention:vLLM 用分页 KV cache 把推理吞吐翻几倍 把显存利用率拉到 96% 以上。但吞吐数字漂亮,用户就满意了吗?未必——P99 首 token 延迟(TTFT,Time To First Token)超时的请求,用户早就关掉页面了,这个请求算出来的 token 全是白干。这篇就引入一个更诚实的指标 goodput(有效吞吐),并讲清楚围绕它的 goodput 调度怎么做:准入、排队、抢占、批大小,全部决策以「这条请求还能不能按时完成」为依据。延迟指标本身的定义与测量见 LLM 服务化指标 TTFT/TPOT 与 SLO。
本文要回答的问题
- 为什么「每秒 token 数」会骗人?goodput 和 throughput 的差别到底是什么?
- SLO 感知调度器在每个调度周期要回答哪几个 deadline 问题?
- deadline 感知的批处理有哪些典型策略,各自的取舍是什么?
- 过载时该拒绝谁、抢占谁,决策依据怎么算?
- goodput 这套东西怎么度量、怎么落地到 vLLM 这类引擎里?
一、吞吐的谎言:为什么需要 goodput
先看一个真实场景。某 LLM 服务的 SLO 是:TTFT 不超过 2 秒,TPOT(Time Per Output Token,相邻输出 token 的间隔)不超过 100 毫秒。流量低谷时系统每秒能完成 50 个请求,全部达标。流量涨到每秒 80 个请求到达时,朴素调度器选择「来者不拒、全部排队」:每个请求的排队时间被拉长,TTFT 纷纷冲到 5 秒以上。此时系统每秒仍然「完成」了 70 个请求,吞吐数字创了新高——但这 70 个请求里有 60 个 TTFT 超标,用户看到的是转圈超时。按吞吐看系统在变好,按用户体验看系统已经崩了。
这就是 goodput 要解决的概念错位。goodput 的定义一句话:单位时间内,完整满足 SLO 约束的请求数。上面的例子里吞吐是 70 req/s,goodput 只有 10 req/s,两者差出来的 60 是「白算吞吐」——GPU 花了电、用户没得到服务,是纯浪费。
这个指标不是学术洁癖。Sarathi-Serve、S3(SLO-aware serving system)等一批系统论文都用实验证明:同样硬件、同样负载,调度策略从「吞吐优先」换成「goodput 优先」,有效容量可以提升 20%~60%。原因很直白——超标的请求不仅自己白算,还在抢占后来者的资源,造成连锁违约。把它们尽早识别出来(拒绝、降级或重排),省下的算力可以让更多请求按时完成。
上图里「白算」的 60 req/s 是 goodput 调度要消灭的对象。手段就两类:过载时少放进来(准入控制),放进来之后按 deadline 排优先级(调度策略)。下面分开讲。
二、SLO 怎么落成可调度的数字
SLO 是产品语言(「首 token 两秒内」),调度器只认数字。把 SLO 翻译成调度可用的约束,核心是给每个请求算两个量:
- deadline_t:这条请求首 token 的最晚产出时刻 = 到达时刻 + TTFT 预算。每过一个调度周期,剩余时间
deadline_t - now在收窄。 - 速率约束 r:进入 decode 后,平均每步间隔不能超过 TPOT 预算,即每 decode step 有一个隐含的「下一步 deadline」= 上一步完成时刻 + TPOT 预算。
有了这两个量,调度器的每一步决策都变成可计算的判定。关键洞察是:一条请求的 decode 时间是可以预估的——批大小确定时,单步 decode 时延基本是批大小的单调函数(可以离线 profile 出一条曲线);prompt 长度已知时,prefill 时延也能估。所以「这条请求现在插队,会不会让已经在跑的 30 条请求里某条错过下一步 deadline」是一个可以算的题,而不是玄学。
| 调度决策 | 吞吐优先的做法 | goodput 调度的做法 |
|---|---|---|
| 新请求到达 | 显存有块就放行 | 估算放行后全体在跑请求是否仍满足速率约束,不满足则排队或拒绝 |
| 选谁 prefill | FCFS(先到先服务) | EDF(最早 deadline 优先)或按剩余裕量排序 |
| 批大小 | 能塞多大塞多大 | 以「单步时延不超过 TPOT 预算」为上界,超出就拆批 |
| 过载 | 全体排队,集体超时 | 按代价模型拒绝/抢占少数请求,保住多数 |
| 成功口径 | 完成请求数 | SLO 内完成请求数 |
这张表是全文的骨架:goodput 调度不是一个单点算法,而是把「deadline 还剩多少」渗透进调度器的每一个分支判断里。
还有一层现实复杂度:不同请求的 SLO 往往不一样。交互式聊天要求 TTFT 紧、TPOT 紧;批量摘要任务只要求总完成时间;API 产品里不同付费档位的合约也不同。成熟的 goodput 调度会把 SLO 按类别(class)参数化——每条请求携带自己的预算值进调度器,裕量计算、准入推演全部按各自的预算算,而不是全系统一刀切。这也解释了为什么 goodput 一定要在请求粒度度量:用全系统平均延迟达标来近似,会把「紧 SLO 请求被宽 SLO 请求挤死」的情况平均掉。
三、deadline 感知的批处理策略
进入正题:调度循环每跑一圈,要在「等待队列」和「运行批次」之间做决定。主流策略有三族。
EDF(Earliest Deadline First,最早 deadline 优先)。操作系统实时调度的老算法搬到 LLM:每轮从等待队列里挑 deadline_t 最近的请求先 prefill。优点是直觉正确——最急的先做;缺点是会饿死长 prompt 请求(它们的 prefill 慢,排进去就拖累整批),且对「已经没救」的请求缺少甄别:一条 deadline 只剩 100ms 而 prefill 要 1 秒的请求,先做它等于纯亏。
剩余裕量排序(laxity-based)。比 EDF 多算一步:裕量 = 剩余时间 − 预计 prefill 耗时。裕量最小的先做;裕量已经为负的请求直接标记「无救」,要么拒绝要么降级到最低优先级。这一族把 EDF 的「最急先做」修正为「最急且还救得活的先做」,goodput 立刻改善——省下的算力不再喂给注定违约的请求。
分块 prefill 与 decode 优先混合。这是 Sarathi-Serve 的路线,细节见 chunked prefill 与 PD 分离。核心动机:一个长 prompt 的 prefill 可能占几百毫秒,期间整批 decode 停摆,TPOT 约束集体告急。把 prefill 切成小块、和 decode 混在一个 step 里跑,让单步时延被压在 TPOT 预算内——TTFT 和 TPOT 两个约束就都有机会同时满足。
上图是一个典型的 goodput 调度循环:先算裕量、剔除无救者,再混批、校验单步时延。注意「校验不通过就缩小切块」这个回路——它把批大小从「越大越好」变成「以 TPOT 预算为上界的变量」,这正是和吞吐优先调度最不一样的地方。
给个数字例子把三族策略的差别坐实。假设同一时刻等待队列里有三条请求:A 剩余时间 1.5 秒、预计 prefill 1 秒;B 剩余 0.8 秒、预计 0.3 秒;C 剩余 0.5 秒、预计 1.2 秒。EDF 会先挑 C(deadline 最近),但 C 的裕量是 −0.7 秒,注定超时,做它纯亏 1.2 秒算力;裕量排序会先挑 B(裕量 0.5 秒,最小且为正),再做 A(裕量 0.5 秒),C 直接快速拒绝——同样的算力窗口,EDF 的 goodput 是 0~1 条,裕量排序是 2 条。这个例子很小,但它展示的「救得活的优先」原则在每秒数百请求的规模上就是百分之几十的有效容量差。
四、准入控制与抢占:过载时保谁
流量超过物理容量时,任何调度策略都变不出算力,唯一能做的是选择违约集中在谁身上。准入控制(admission control)的判定式很朴素:新请求放行后,用 profile 好的时延模型推演——它自己的 TTFT 是否仍可达标,在跑请求的速率约束是否仍全部满足。两个答案有一个是否,就让它排队;排队预估等待时间超过 TTFT 预算,就直接快速拒绝(fail fast)。
「快速拒绝」对吞吐派是反直觉的——把生意往外推?但账算得过来:拒绝只损失这一个请求,放进来连锁超时损失的是一批。更何况客户端收到明确的 429/503 可以立刻重试别的实例,比在队列里等死体验好得多。
抢占(preemption)则是对已放行请求的二次取舍。当速率约束即将被破坏(比如 KV cache 块不够了,见 PagedAttention 篇的交换与重算),调度器要选牺牲品。goodput 视角的选择依据:
- 优先抢占裕量最小、恢复代价最低的请求(KV 短、换出便宜的);
- 已生成 token 很多的请求抢占代价高(重算要重跑整个 prefill),尽量不动;
- 同为无救请求时,直接终止比换出更划算——不再为注定违约者花 PCIe 带宽。
抢占代价可以量化成一个简单公式:换出成本 ≈ KV 块数 × 单块 PCIe 传输时间,重算成本 ≈(prompt 长度 + 已生成长度)× 单 token prefill 时间。调度器把这两个数和「抢占它能救回多少条请求的约束」放在一起比较,就是一个理性的取舍。工程上常见的简化是给每个请求维护一个「保护分」:已生成 token 越多、SLO 档位越高,保护分越高,抢占选择时从低到高扫——避免每次都在热路径上解优化题。
上图把准入和抢占画在一个决策链上:推演通过才放行,等不起就拒绝,资源紧张时用抢占腾位置。三个动作的共性是——每个决定背后都有一次「约束还满不满足」的演算,这就是「SLO 感知」四个字的全部含义。
五、工程落地:度量、时延模型与水位控制
策略讲完,落地还差三块拼图。
第一块:goodput 的线上度量。 只报吞吐的监控会掩盖问题。至少要有三条曲线:到达率、吞吐、goodput(按 SLO 逐请求判定达标与否)。吞吐与 goodput 的裂口就是「白算率」,裂口持续扩大说明准入控制太松或水位定太高。这个裂口指标比任何单一延迟分位数都更早预警过载——P99 TTFT 爆表时违约已经成批发生,而裂口在约束刚开始紧张时就会张开。
第二块:时延模型。 所有推演都依赖「这个 batch 跑一步要多久」。做法是对目标硬件离线 profile:不同(批内 token 总数, 批内请求数)组合下的单步时延,存成查值表或拟合函数,调度器在线查表。模型不准,准入控制要么误杀(容量浪费)要么放水(连锁违约),所以这张表要随模型版本、量化方案(如 INT8/INT4 量化 会显著改变单步时延)一起更新。
落地顺序上有句经验之谈:度量先行。很多团队上了排序算法才发现线上流量根本没过载,白忙一场;先把 goodput 曲线画出来,看清楚裂口出现在什么水位、哪类请求先违约,再决定动哪块手术。
第三块:水位而非满转。 goodput 最大化的工作点通常不在 GPU 利用率 100% 处,而在 85%~95% 的某个位置——留出的余量用来吸收到达率的抖动(bursty arrival)。容量规划(serving 容量规划 有完整方法)要按「P99 负载下 goodput 达标」来定水位,而不是按平均吞吐。vLLM v1 的调度器(见 vLLM V1 调度器设计)已经把 max_num_batched_tokens 这类上限变成了一线 knob,本质上就是手动版的速率约束校验;加上时延模型驱动的准入与裕量排序,就拼出一套完整的 goodput 调度。
上图把三块拼图装进一个闭环:离线 profile 喂给在线调度,调度三件套(准入、排序、抢占)落地,监控回路用白算率校准水位。团队实际演进路线通常是:先上 goodput 度量(改动最小、立刻能看见裂口),再上加权排序的调度,最后才上模型驱动的准入——每一步都能独立见效。
这一篇在知识体系里的位置
本篇是「推理服务化」线索的调度收尾篇:上游是 LLM 服务化指标 TTFT/TPOT 与 SLO(SLO 与延迟指标定义)、continuous batching 调度器(无 SLO 的吞吐调度基线)与 PagedAttention 篇(抢占、交换与重算的显存机制);同层对照 chunked prefill 与 PD 分离(TTFT/TPOT 双约束的结构性解法)和 serving 容量规划(水位怎么定);下游延伸是 vLLM V1 调度器设计 与多实例集群层面的全局 goodput 调度(分离式推理集群)。
总结
goodput 调度把目标从「每秒算多少 token」换成「每秒有多少请求在 SLO 内完成」:用 TTFT/TPOT 折算成每条请求的 deadline 与速率约束,让准入控制、裕量排序、混批校验、抢占拒绝每一步决策都先算一遍「约束还满不满足」——它消灭的不是延迟本身,而是超时请求的白算与连锁违约,同样硬件下有效容量因此能多出两到六成。