decode 优先级公平性:高优请求抢占下的饿死防护策略
更新时间:2026-10-07。请求优先级与抢占 讲过优先级抢占的基本机制——显存不够时把低优请求 swap 出去给高优腾地方,SLO 感知调度 讲过怎么按截止期限排产。这两篇都没细说一个副作用——一旦高优流量持续高位,低优请求不只是「慢一点」,而是 decode 被一轮轮打断、输出流实质冻结。本篇专门讨论这个问题的成因与防护。
本文要回答的问题
- 为什么抢占式优先级调度天然会让低优请求的 decode 饿死,机理是什么?
- 「饿死」在监控上长什么样,和普通的排队延迟怎么区分?
- 老化(aging)、保底配额、抢占预算三种防护手段各自怎么工作、怎么选?
- 策略上线后用什么实验验证公平性真的达标了?
一、饿死是怎么发生的
先看一个具体场景。某推理服务设了两级优先级:P0 付费实时请求,P1 免费批量请求。晚高峰 P0 持续打满,调度器每个迭代步都先把 token 预算分给 P0,剩余零头才轮到 P1。单个迭代步看,这决策完全合理——P0 的 SLO 是 ITL(token 间延迟)小于 100 毫秒,让一步就违约。但宏观结果是:一个 P1 请求 prefiller 完了,decode 出 3 个 token 后被抢占 swap 到 CPU 显存,等高优空下来再换回;换回后刚解码 2 个 token,新一波 P0 又到了,又被踢出去。半小时后这个请求总共输出了 17 个 token,用户端看起来就是「卡死了」。
这就是优先级调度的经典饿死(starvation)问题,和操作系统的进程调度是同一个病根:严格优先级(strict priority)只在高优负载小于系统容量时才安全。一旦 P0 的到达率持续超过容量,低优队列的服务率趋近于零,而 LLM 场景比传统调度更恶劣,因为还有 KV cache 显存这个硬约束——被抢占的请求要么 recompute(重算 KV,prefill 白做)要么 swap(占着 CPU 内存),两种都有真实成本,调度器会更倾向于「让低优一直在外面待着」。
图里的循环就是饿死的动力学:P1 在「GPU 上解码几个 token → 被抢占 → swap 区等待 → 换回 → 又被抢占」之间空转。每次 swap out/in 还要搬运 KV block(一个 4K 上下文、13B 模型的请求,KV 约 1.6GB,PCIe 4.0 x16 上往返一次 100 毫秒量级),系统吞吐被这些无效搬运进一步侵蚀——高优也没占到全部便宜,这是饿死的隐蔽代价:不只是公平问题,还是效率问题。
二、饿死与普通排队延迟怎么区分
运维上最常见的误判是把饿死当成「队列太长,等等就好」。两者的区分点很清楚:排队延迟随负载回落自动消失,饿死不会;排队的等待时间有上界(队列长度除以服务率),饿死的等待时间无界。
监控上有三个指纹可以确诊。其一,看请求的 decode 进度速率:把「已生成 token 数 ÷ 从 prefill 完成到现在的墙钟时间」按优先级分桶画分布,低优桶里出现一大批速率趋近于零(比如每分钟不到 2 个 token)且持续时间超过几分钟的请求,就是饿死。其二,看抢占计数的分布:少数请求反复被抢占(单请求抢占次数大于 5)是空转的直接证据——vLLM V1 调度器 暴露的 num_preemptions 指标要按请求维度拆开看,只看总数会漏掉「集中在少数人身上」的情况。其三,看低优请求的 P999 尾延迟:P99 还能看、P999 爆炸,通常就是饿死的那批请求垫在尾巴上。
一个实用的经验阈值:低优请求的 decode 进度速率低于其应有 ITL 的十分之一、且持续超过其剩余输出长度的两倍时间,即可判定饿死并触发告警,不用等到用户投诉。
三、三种防护策略
老化:让等待时间变成优先级
老化(aging)是操作系统调度里的经典解法:请求的等待时间累积成优先级增量,等得越久优先级越高,最终必然轮到。落到推理调度器上,做法是有效优先级 = 静态优先级 + α × 已等待时间。α 的取值决定「P1 最多能被压多久」:α 设成「P1 等待 T 分钟后追平 P0」的效果,T 就是饿死上界。经验上交互式业务 T 取 2~5 分钟,离线批量可以放到 15~30 分钟。
老化的好处是无需改配额模型、实现轻,坏处是它只解决「最终轮到」,不解决「轮到后被立刻再抢占」——请求刚追平优先级跑一步,P0 新请求又来了,它的优先级增量已经被消费,又掉回底层。所以老化必须配合下一条。
抢占预算:限制单请求被踢的频率
给每个请求设「两次被抢占之间的最小运行间隔」,比如一旦被换回 GPU,至少保证连续 decode 出 32 个 token(或运行满 500 毫秒)才允许再次被抢占。这把空转循环剪断了:换回的代价至少换来 32 个 token 的进度,交换次数自然封顶。换算下来,一个输出 512 token 的低优请求最多被抢占 16 次,配合老化,总等待时间就有了硬上界。
保底配额:给低优留固定份额
最硬核的做法是调度预算按优先级分组保底,比如每步 token 预算的 10% 雷打不动给 P1,P0 再急也只能用 90%。这等价于把「严格优先级」改成「加权公平队列(WFQ,Weighted Fair Queueing)」。优点是饿死从机制上不可能发生、低优 SLO 可承诺;缺点是高峰期 P0 的容量被砍一刀——P0 打满时那 10% 的配额如果 P1 没请求可跑,能否被 P0 借用(work-conserving,工作保持型)是个关键设计点,借用则高峰不浪费、不借则严格隔离,生产上几乎都选借用。
图里是保底配额加借用的结构:P1 的 10% 是地板不是天花板,空闲时 P0 借用,有 P1 请求时立刻归还。这让公平性从「高优负载低于容量才成立」变成「任何负载下都成立」。
四、怎么选与怎么验
三种策略不是互斥的,生产上的常见组合是「保底配额打底 + 老化兜底 + 抢占预算防空转」:配额保证正常流量的公平,老化兜住配额没覆盖的极端场景(比如同优先级内部的长请求被短请求挤占——轮转仲裁公平性 里讨论的同级竞争是同一类问题),抢占预算控制 swap 开销。
| 策略 | 解决什么 | 代价 | 适用场景 |
|---|---|---|---|
| 老化 aging | 等待无界 | 几乎为零 | 所有分级服务都该开 |
| 抢占预算 | 空转与 swap 开销 | 抢占响应略变慢 | swap 代价高的部署 |
| 保底配额 | 机制性饿死 | 高峰高优容量打折 | 对低优有 SLO 承诺 |
验证用对抗性压测,不要用日常流量观察。标准实验:构造 P0 以 120% 容量持续注入,P1 以 20% 容量混合输入,跑 30 分钟,验收三条——P1 所有请求的 decode 进度速率不低于配额折算值;单请求最大抢占次数有界(开启抢占预算后应小于输出长度除以保证间隔的商);P0 的 ITL P99 相对无配额基线的劣化在预期幅度内(约等于配额占比)。三条里任何一条不满足,回去调 α、保证间隔或配额比例,而不是放宽验收线。验收时顺带核对一次「高优间歇」场景:P0 突发 5 分钟然后静默 10 分钟的循环下,P1 的进度曲线应该是阶梯状而非平台状——静默期追不上来,说明借用规则没生效。
这一篇在知识体系里的位置
本篇是推理服务调度线里「公平性」这个子主题的收口篇:上游 decode 优先级公平性问题的前因:请求优先级与抢占(抢占机制本身,正是它的副作用)、SLO 感知调度(按期限排产,与本篇的配额思路互补)、decode 优先级公平性策略落地的代码层:vLLM V1 调度器设计;同层 轮转仲裁公平性 讨论的是硬件仲裁层面的同类公平性问题,思想同源。
总结
decode 优先级公平性的核心结论:严格优先级抢占在高优负载超过容量时必然导致低优请求 decode 饿死,且 swap 空转会连累整体吞吐;防护靠三件套——老化给等待时间上界、抢占预算剪断 swap 空转循环、加权保底配额(带借用)从机制上消灭饿死,生产上三者组合使用;验收必须用 120% 容量的对抗性压测盯低优进度速率、单请求抢占次数上界和高优 ITL 劣化幅度三条线,日常流量观察验不出公平性。