vLLM V1 调度器:连续批处理与 chunked prefill 统一调度循环、抢占与优先级、与 V0 的差异
更新时间:2026-10-01。vLLM 在 0.6 之后的 1.x 系列里把整个推理引擎推倒重写了一轮,社区把这次重构统称为 V1 架构(V0 指 0.x 时代的实现)。重写里变化最大、也最值得逐行读的部分就是调度器:V0 里 prefill 和 decode 是两条独立代码路径,调度策略散落在多个类里;V1 把二者合并成一个以 token 预算为核心的统一调度循环,chunked prefill 从「可选优化」变成默认骨架,抢占和优先级的行为也全部重定义。本站的前置弹药:连续批处理调度器 讲了迭代级调度的来龙去脉,PagedAttention 与 vLLM serving 讲了 KV block 分页管理,chunked prefill 与预填充解码分离 讲了切块混排的动机。这一篇站在这些概念之上,专拆 vLLM V1 调度器这一台机器的齿轮。
本文要回答的问题
- V0 调度器的结构到底哪里撑不住了,V1 为什么必须重写而不是修补?
- V1 的统一调度循环每次迭代具体做什么决策,token 预算怎么花?
- KV block 的分配、复用(prefix cache)和释放在新调度器里怎么走?
- 显存不够时 V1 的抢占行为是什么,和 V0 的 swap/recompute 有何差别?
- 从 V0 迁到 V1,哪些行为差异会在线上感知到,调参重点是什么?
一、V0 的结构性问题:两条路径长在一起
要理解 V1 调度器的设计动机,得先看 V0 长什么样。V0 的调度围绕 SequenceGroup(一个请求及其全部 beam/采样分支)组织,内部维护三条队列:waiting(未开始)、running(在跑)、swapped(被换出到 CPU)。每个调度步里,策略代码先尝试从 waiting 里挑请求做 prefill;如果决定做 prefill,这一步就只做 prefill,decode 全体停等——这就是所谓 prefill-priority 调度。后来又加了 enable_chunked_prefill 开关,允许 prefill 和 decode 混排,但那是打补丁式叠加:混排逻辑、非混排逻辑、多 LoRA、多模态各自走不同分支,调度器类膨胀到几千行。
真正致命的不是代码难看,而是三个结构性约束。第一,调度决策的粒度是 SequenceGroup 而不是 token——调度器回答的问题是「这一步跑哪些请求」,而不是「这一步的算力预算怎么分」,这让它天然无法表达「decode 各 1 token + prefill 一段 chunk」这种精确配比。第二,prefill 和 decode 两条路径各自维护 KV block 分配状态,prefix cache(前缀复用)只能覆盖部分场景,跨路径的 block 生命周期管理 bug 频发。第三,每步调度都要在 Python 层做大量逐请求的状态整理,调度器开销本身占了步时延的可观比例,小模型高 QPS 场景下调度开销能吃掉的 CPU 时间超过 10%。
上图概括了 V0 的核心矛盾:prefill 和 decode 在同一时刻只能走一条路径,显存紧张时整请求换出。chunked prefill 补丁缓解但不能根除——因为底层抽象还是「请求」而非「token 预算」。V1 的决定就是换抽象:调度器不再管理「请求状态机」,而是管理「每步 token 预算的分配」。
二、V1 的统一调度循环:token 预算是唯一通货
V1 调度器(vllm/v1/core/sched/scheduler.py 里的 Scheduler 类)的调度循环可以压缩成一句话:每次迭代,先给所有正在 decode 的请求各发 1 个 token 的额度,再把剩余预算按策略分给等待中的 prefill(可切块),拼成一个混合 batch 交给执行器。chunked prefill 不再是一个开关,而是循环的固有行为——max_num_batched_tokens 这个参数直接就是每步的 token 预算,默认 8192(V0 默认不切块时这个参数语义完全不同)。
数据结构也跟着换了。V0 的 SequenceGroup 被拍平成简单的 Request 对象,状态只有「正在跑」和「等待中」两类核心集合;KV block 管理独立成 KVCacheManager,用哈希表支持任意请求间的前缀复用;每个请求知道自己已经算到第几个 token,调度器按「还差多少 token 算完 prompt」决定给它切多大的 chunk。一个迭代内的决策顺序大致是:
这个循环里有几个不显眼但关键的性质。第一,decode 永远优先:一个正在生成中的请求只要不被抢占,每步必得 1 个 token 额度,TPOT 的下界被结构性锁死,不再依赖「这一步没 prefill」的运气。第二,prefill 的 chunk 大小是调度器动态算的,不是固定值——剩余预算够大,一块可以吃掉整个剩余 prompt;预算紧张就切小,同一个请求在不同迭代里 chunk 大小可以完全不同。第三,一个迭代可以混进多个请求的 prefill chunk(V0 的 chunked prefill 每步只处理一条 prefill),短 prompt 请求可以成批进入,冷启动吞吐明显更好。
预算怎么花还有一个实操细节值得展开:调度器填 prefill chunk 时严格按 waiting 队列顺序(默认 FCFS,即先来先服务),队首请求切块填完后预算还有剩,才轮到下一个请求。这带来一个反直觉的结论——max_num_batched_tokens 定得越大,排在队首的长 prompt 一次性吃掉的预算越多,队尾请求的 TTFT 排队时间反而越集中地取决于队首的形状;预算定小则把长 prompt 摊到更多迭代里,队尾请求有机会更快插进来。在线服务常见配置是把预算定在「一步混合 batch 时延略低于 TPOT SLO」的位置,让 decode 用户完全感知不到 prefill 的存在,剩下的交给排队论去消化。
和 chunked prefill 与预填充解码分离 里讲的 Sarathi-Serve 对比,V1 在理念上同源,但工程上更激进:Sarathi 的 token 预算相对静态,V1 把预算分配做成了纯在线决策,还给 prefix cache 命中留了接口——一个请求的 prompt 如果命中了缓存前缀,命中的部分不占 token 预算(不需要重算),调度器直接从命中点之后开始切块。这也是为什么 V1 在开启 prefix cache 后的 TTFT 收益比 V0 大得多:复用和调度第一次在同一个抽象里对话。
三、KV block 管理:从附属状态变成独立子系统
V1 把 KV block 的分配抽成了独立的 KVCacheManager,这不是代码洁癖,而是因为调度决策里超过一半的约束来自显存:能不能接纳一个新请求,取决于 free block 池能不能装下它未来要写的 KV;要不要抢占,取决于 running 集合继续生长所需 block 是否还能凑齐。
block 的生命周期在 V1 里是单向流水线:请求进队时按 prompt 长度预估 block 需求;调度步里为每个将要计算的 token 段分配 block(prefix cache 命中的段直接引用已有 block,引用计数加一);请求结束时引用计数减一,归零的 block 进入 free 池,但哈希索引里的缓存条目保留,直到 free 池耗尽才被真正驱逐——这就是「缓存复用到最后一刻」的惰性驱逐策略。PagedAttention 的分页基础见 PagedAttention 与 vLLM serving,V1 在其上加的主要是全请求通用的哈希索引和引用计数。
| 维度 | V0 KV 管理 | V1 KVCacheManager |
|---|---|---|
| 管理粒度 | SequenceGroup 内部分配 | 全局 block 池 + 引用计数 |
| prefix cache | 部分路径支持,易失效 | 全请求哈希索引,默认开 |
| 驱逐策略 | 请求结束即释放 | 惰性驱逐,free 池耗尽才清 |
| 与调度耦合 | 散落在调度分支里 | 统一 allocate_slots 接口 |
| 跨路径一致性 | prefill/decode 各管一摊 | 单一真相源 |
对运维来说,这张表最实际的一行是 prefix cache 默认行为变了:V1 默认开启且覆盖面广,同样的显存容量下,重复前缀流量(多轮对话、共享 system prompt)的有效吞吐会明显提升;反过来,如果你用监控对比 V0/V1 的 KV cache 占用曲线,会发现 V1 的「已用 block」普遍更高——那不是泄漏,是惰性驱逐在干活。
四、抢占与优先级:显存墙前的体面退场
任何连续批处理系统都绕不开一个问题:running 集合的请求边生成边长 KV,显存迟早撞墙。V0 给了两种处理:swap(把请求的 KV 整个搬到 CPU 内存,之后搬回)和 recompute(直接丢弃 KV,恢复时从 prompt 重算)。两者粒度都是整请求,代价都高——swap 的 PCIe 传输动辄几百毫秒,recompute 等于把整条 prompt 的 prefill 再做一遍。
V1 统一成了 recompute 抢占,但配合 prefix cache 让代价大幅下降。触发逻辑在调度循环的步骤 2:为 running 请求分配下一步所需 block 失败时,从 running 队列里挑「最该牺牲」的请求抢占——默认策略是后进先出(最后被调度的请求先被抢),被抢请求的 KV block 释放回池,状态退回 waiting,等显存宽裕时重新 prefill 恢复。关键在于:被释放的 block 如果还被 prefix cache 索引着,并不会立刻物理消失,恢复 prefill 时命中前缀就能跳过重算。也就是说,抢占的代价从「整段 prompt 重算」变成了「缓存没命中的部分重算」,短 prompt 场景下接近无损。
优先级在 V1 里也有了一等公民地位:请求携带 priority 字段,waiting 队列按(优先级, 到达时间)排序,高优先级请求可以插队做 prefill;抢占选牺牲者时低优先级优先被抢。这给生产系统留了一个很实用的口子——把交互式请求和离线批处理请求打不同优先级混部在同一实例,离线流量吃空闲容量,交互流量一来就被保障。要注意优先级目前不影响 running 内每步的 token 分配(decode 人人平等各 1 token),它只影响「谁先做 prefill、谁先被抢」。
经验上还有两个行为值得提前知道。其一,抢占计数(num_preemptions)是 V1 最重要的健康指标之一:持续非零说明 max_num_seqs 或负载超过了显存能容纳的水平,正确的处理是降并发或加卡,而不是调大预算硬撑。其二,recompute 抢占对超长输出请求不友好——一个已经生成了 8000 token 的请求被抢后,恢复时要重新走 prefill 流程且 KV 缓存可能已被其他请求驱逐,TTFT 口径上会出现尾部毛刺;超长生成场景建议把并发上限配保守一点,让抢占根本不发生。
另外一个和抢占间接相关的参数是 max_model_len 与 KV 池大小的比例关系。V1 在启动时会按显存预算算出总 block 数,如果总 block 数连一条 max_model_len 长度的请求都装不下,引擎直接拒绝启动——这是 V1 新加的启动期校验,避免了 V0 时代「跑起来才发现长请求永远被抢占、死循环重算」的陷阱。上线前用最长预期 prompt 加最长预期输出做一次启动校验,比事后看抢占指标排查要省事得多。
五、V0 到 V1 的行为差异与迁移要点
把两版调度器并排看,差异可以归成四类:默认值、调度语义、性能特征、可观测性。
| 维度 | V0 | V1 |
|---|---|---|
| chunked prefill | 可选开关,默认关 | 固有行为,无开关 |
| token 预算语义 | 仅切块模式生效 | max_num_batched_tokens 即每步预算 |
| prefill/decode 混排 | 每步至多一条 prefill | 多请求 chunk 可同批 |
| 抢占方式 | swap 或 recompute,整请求 | recompute + prefix cache 兜底 |
| prefix cache | 默认关,覆盖面有限 | 默认开,全请求生效 |
| 调度开销 | Python 逐请求状态整理 | 结构化批量决策,开销大降 |
| 异步执行 | 调度与执行串行 | 调度循环与模型执行重叠 |
迁移时最容易踩的三个坑。第一,参数语义漂移:V0 里习惯把 max_num_batched_tokens 当切块大小的静态值来调,V1 里它是「每步总算力预算」,定太小会直接限制 decode 并发上限(因为 decode 每步也要占预算),推荐从 8192 起步按 TPOT 目标压测。第二,swap 空间参数没用了:V0 的 swap_space 在 V1 里被忽略,依赖 swap 扛峰值的部署要改成依赖抢占加重试。第三,TTFT 分布形状会变:多请求同批 prefill 让短 prompt 的 TTFT 明显变好、长 prompt 的切块尾延迟更平滑,用 V0 时代的基线去告警会误报,切版本后要重新建立时延基线。
这张图是迁移的心智切换:从「管理请求状态机」换成「管理每步 token 预算」。V1 调度器的可调变量收敛到两个核心——max_num_batched_tokens(步预算)和 max_num_seqs(并发上限),调参复杂度比 V0 低了一个档次,但前提是监控得跟上:步预算利用率、prefix cache 命中率、抢占计数,这三个数字基本能讲清一台 V1 实例的健康状况。
这一篇在知识体系里的位置
本篇是 LLM serving 调度线的「实现篇」:概念层的迭代级调度见 连续批处理调度器,显存分页基础见 PagedAttention 与 vLLM serving,切块混排的动机与 PD 分离的架构走向见 chunked prefill 与预填充解码分离,KV 显存的账本见 KV cache 与推理显存。往后看,vLLM V1 调度器向上接 KV connector 的 PD 分离部署、向两侧接投机解码与结构化输出的调度适配,是把前面所有概念落到生产代码里的那个承上启下的枢纽。
总结
vLLM V1 调度器的本质是把调度抽象从「请求状态机」换成「每步 token 预算分配」:decode 每步保底 1 token、prefill 按剩余预算动态切块、多请求混排同一 batch,KV block 交给独立的 KVCacheManager 做全局引用计数和惰性驱逐,抢占统一走 recompute 并靠 prefix cache 摊薄代价——理解 V1 不需要背 V0 的历史包袱,盯住 token 预算、并发上限、抢占计数三个变量就够了。