预填充解码分离:chunked prefill 原理、PD 两阶段资源差异与 SARATHI/DistServe 部署路线
更新时间:2026-09-30。LLM 推理服务走到一定规模,绕不开一个结构性矛盾:同一条请求里,prefill 阶段是算力饥渴型,decode 阶段是显存带宽饥渴型,把两类负载绑在同一张卡上跑,谁也别想吃饱。本站的前置弹药已经备齐:KV cache 与推理显存 讲了显存大头在哪,PagedAttention 与 vLLM serving 讲了显存怎么分页管理,continuous batching 调度器 讲了迭代级调度怎么提高吞吐。这一篇再往前走一步:当 continuous batching 也压不住 TTFT(首 token 时延)和 TPOT(逐 token 时延)的互相干扰时,预填充解码分离(Prefill/Decode Disaggregation,简称 PD 分离)就是下一步的架构答案,而 chunked prefill 是它最重要的过渡形态和组成部分。
本文要回答的问题
- prefill 和 decode 两个阶段的资源特征到底差在哪,为什么混跑会互相拖累?
- chunked prefill 是怎么把长 prompt 切块、和 decode 混排进同一个 batch 的?
- 完整的 PD 分离架构长什么样,KV cache 怎么跨实例搬运?
- SARATHI(chunked prefill 路线)和 DistServe(分离路线)的设计取舍各是什么?
- 什么流量特征下该上 PD 分离,什么时候 chunked prefill 就够了?
一、先认清两阶段:prefill 吃算力,decode 吃带宽
一次 LLM 推理在数学上分成两个阶段。prefill 阶段把整段 prompt(比如 4000 个 token)一次性过模型:所有 token 并行算 attention,Q·K 是 4000×4000 的矩阵乘,计算量随 prompt 长度平方级增长但摊到每个 token 上是稠密的 GEMM(通用矩阵乘),GPU 的 Tensor Core 利用率可以打到 70% 以上。这一阶段同时把所有 token 的 K、V 向量写进 KV cache,供后面 decode 用。
decode 阶段完全不同:每一步只生成 1 个 token,Q 是 1 维向量,Q·K 变成向量×矩阵的 GEMV(矩阵向量乘),算术强度(每字节访存对应的浮点运算数)掉了一个数量级。此时 GPU 的瓶颈不再是乘法器,而是把几十 GB 的模型权重和 KV cache 从 HBM 显存搬进来的速度——算 1 个 token 的浮点运算量微乎其微,但权重必须完整读一遍。这就是为什么 decode 的步时延几乎和 batch 里 token 数无关(带宽摊薄),而 prefill 的时延随 token 数线性甚至超线性涨。
拿一组具体数字感受一下差距。一张旗舰推理卡的 FP16 算力按 1000 TFLOPS 算,HBM 带宽按 3 TB/s 算,两者的比值(机器的「平衡点算术强度」)大约是 330 FLOP/byte。prefill 阶段 GEMM 的实际算术强度轻松超过 1000 FLOP/byte,卡在算力上限;decode 阶段逐 token 生成的算术强度只有 1-2 FLOP/byte 量级,卡在带宽上限,算力利用率常常不到 5%。同一张卡在两阶段里表现出的「有效性能」差了两个数量级——这不是软件没写好,是物理定律(屋顶线模型)决定的。
还有一个容易被忽略的差异:显存容量压力的分布。prefill 需要的显存是「权重 + 本段 prompt 的 KV」,请求一结束就释放(转交 decode);decode 需要把整段对话历史的 KV 一直留到生成结束,长输出请求会占着显存几分钟。KV cache 的详细账见 KV cache 与推理显存,这里只要记住结论:decode 是显存容量的主要消费者,这决定了后面 PD 分离里 decode 池要按容量和带宽配卡,而不是按算力。
| 维度 | prefill | decode |
|---|---|---|
| 单步 token 数 | 整段 prompt,数百到数万 | 1(per 请求) |
| 算子形态 | 稠密 GEMM | GEMV,访存密集 |
| 瓶颈资源 | 算力(FLOPS) | HBM 带宽 + 显存容量 |
| GPU 利用率特征 | Tensor Core 高占用 | 算力空转,带宽打满 |
| 时延指标 | 决定 TTFT | 决定 TPOT |
| 随 batch 扩的收益 | 一般(已算力饱和) | 显著(带宽被摊薄) |
上图是全篇的出发点。注意 KV cache 是连接两个阶段的桥梁:prefill 是生产者,decode 是消费者。这个「生产—消费」关系后面会变成 PD 分离里 KV 传输的物理基础——只要能把 KV cache 从 prefill 节点搬到 decode 节点,两个阶段就可以物理拆开。
二、混跑的代价:为什么 continuous batching 还不够
continuous batching 调度器 把调度粒度从「整请求」细化到「单迭代」,decode 不再等齐整批请求一起走完,吞吐提升明显。但它没有改变一个事实:同一个 batch 里如果混进了一条正在做 prefill 的长 prompt 请求,这一个迭代就要先算完几千 token 的 GEMM,batch 里所有 decode 请求的这一步时延全被拉长。用户侧看到的现象是:生成中的回答突然卡住几百毫秒甚至一两秒,然后又恢复——这叫 prefill 干扰(prefill interference),是 TPOT 抖动的主要来源。
反过来看 decode 对 prefill 的拖累:decode 请求占着显存里的 KV cache 槽位,调度器为了保住它们的时延,往往不敢把 prefill 的 batch 开大,导致 prefill 的算力利用率也打不满。两类请求在同一个资源池里互相挤占,SLO(服务水平目标)还不一样:TTFT 的要求通常是秒级内的 P99,TPOT 的要求是每 token 几十毫秒内。用一套资源配置同时满足两个差异巨大的 SLO,结果就是按最严苛的那个超配——算力按 prefill 峰值配,带宽按 decode 峰值配,日常利用率两头都低。
这种干扰在线上流量里被进一步放大,因为真实请求的 prompt 长度分布是重尾的:大多数请求几百 token,少数长文档问答、代码库分析类请求几万 token。一条 32k token 的 prefill 混进 batch,对同批 decode 请求来说不是卡几百毫秒,而是卡好几秒——用户端的体验就是流式输出「冻结」,然后突然喷出一大段。更麻烦的是这种卡顿是随机不可复现的,监控上表现为 P99 TPOT 的尖刺,平均值却完全正常,按均值配容量的团队会一直被投诉追着跑。
有团队试过「粗暴隔离」:给 prefill 请求单独排队、整批整批地做。这样做的确保住了 TPOT,但代价是 prefill 期间 decode 完全停摆,或者 decode 期间 prefill 干等——等于把时分复用的粒度放回到「整请求」级别,GPU 利用率直接腰斩。问题的根源不在排队策略,而在于两类负载对资源的诉求正交,任何单一资源池里的复用都必然引入干扰。这正是后面两节两条路线共同的出发点:chunked prefill 在时间维度上把干扰摊平,PD 分离在空间维度上把干扰消除。
这张图是「混跑卡顿」的时间线:一个 prefill 迭代插进来,batch 里所有 decode 请求的这一步都被陪跑。请求来得越杂、prompt 越长,这种卡顿越频繁。这就是为什么单纯靠 continuous batching 在大规模服务里压不住 P99 TPOT——调度粒度细了,但两类负载的资源竞争还在。
三、chunked prefill:不拆卡,先把 prefill 切碎
chunked prefill 是 Sarathi-Serve(SARATHI 系列工作)提出的折中方案:既然一整个长 prefill 会把 decode 卡死,那就把 prefill 切成固定大小的块(chunk),每个调度迭代里拼一个「token 预算恒定」的混合 batch——比如每迭代总共算 2048 个 token,其中塞若干个 decode 请求的各 1 个 token,剩下的额度全给某个 prefill 请求的一段 chunk。4000 token 的 prompt 就分 2-3 个迭代算完。
chunked prefill 的关键洞察是:decode 的 token 算术强度极低,把它们和 prefill 的 chunk 拼在同一个 batch 里做 GEMM,decode 的那几个 token 相当于「搭便车」——GEMM 的 M 维从 2000 变成 2048,多出来的 48 行几乎不增加时延(只要还在算力饱和区内),decode 请求的算力开销被 prefill 完全掩盖。这个技巧叫 piggyback(搭车),它让 GPU 在「不卡 decode」的前提下依然保持高算力利用率,吞吐反而比纯分离更高。
代价也很清楚。第一,prefill 被切块后 TTFT 变长了:本来一次算完,现在要排 2-3 个迭代,每个迭代还要等 decode 搭车。第二,切块引入额外开销:每个 chunk 的 attention 要读取之前所有 chunk 写下的 KV cache,chunk 越小重复读越多,调度器要在「chunk 小=TPOT 稳」和「chunk 大=prefill 效率高」之间找平衡点,典型取值在 512 到 4096 token 之间。第三,工程上要求 kernel 支持混合 batch(一部分 token 走 causal 全注意力、一部分只算自注意力),vLLM 等框架为此重写过调度器和 attention kernel。
token 预算这个超参数值得多说两句,它是 chunked prefill 的调参核心。预算定小了(比如 512),每个迭代的步时延短、TPOT 稳如直线,但 prefill 被切得很碎,chunk 边界的 KV 重读开销占比上升,长 prompt 的 TTFT 明显变长;预算定大了(比如 8192),prefill 效率接近整块计算,但步时延重新变大,TPOT 抖动又回来了。实践中常用的策略是把预算定在「decode 步时延的可接受上限」反推出的位置——比如 SLO 要求 TPOT P99 在 100ms 内,就实测出混合 batch 在多少 token 时步时延恰好接近 100ms,把预算钉在那里。Sarathi-Serve 论文里把这个过程形式化成了一个查表加小搜索的过程,线上一般压测一次就能定下来,之后不用频繁动。
还有一个调度细节:一个迭代里先排 decode 还是先排 prefill chunk?主流做法是 decode 优先——先把所有等待中的 decode 请求各 1 个 token 排进预算,剩余额度才给 prefill。理由是 decode 请求的边际成本几乎为零(搭便车),而 delay 一个 decode 步直接影响用户体感的流畅度;prefill 晚一个迭代开始,TTFT 只多一个步时延,用户还没开始看到输出,感知弱得多。这个优先级排序和医院急诊的分诊逻辑一样:先处理处置成本低的轻症,把重病人切碎慢慢治。
四、PD 分离:把两个阶段物理拆开
chunked prefill 再精细,两类负载还是共享同一张卡的算力、带宽和显存。PD 分离走得更远:prefill 实例和 decode 实例是两组独立的 GPU 资源池,请求先在 prefill 集群算完 prompt、生成 KV cache,然后 KV cache 通过网络(NVLink 域内直拷、或 RDMA over 以太网/InfiniBand)传输到 decode 实例,之后的逐 token 生成全部在 decode 集群完成。
上图是 PD 分离的标准架构。三个设计点值得展开。
第一,资源池异构化。prefill 要 FLOPS,decode 要 HBM 带宽和容量,两者可以用不同代际甚至不同型号的卡:prefill 用算力密度高的卡,decode 用显存大、带宽高的卡,成本结构比统一按峰值配一型卡好得多。即使没有异构硬件,两组同型卡也能各自把 batch 配置调到自己的甜点区。
第二,SLO 解耦。TTFT 只由 prefill 集群的排队和算力决定,TPOT 只由 decode 集群的 batch 和带宽决定,两个指标可以独立调容量、独立做弹性伸缩——流量高峰时 prompt 变长就加 prefill 节点,输出变长就加 decode 节点,容量规划第一次有了干净的数学模型。DistServe 的论文正是围绕「给定 SLO,怎么分配合适的并行策略和副本数」做优化。
第三,KV 传输是新引入的关键路径,也是 PD 分离最大的工程难点,值得单开一节。
在动手拆之前,还要想清楚并行策略怎么配。分离之后,prefill 实例和 decode 实例可以选择不同的张量并行(TP)度数:prefill 的 GEMM 在 TP=8 下仍有不错的扩展性,而 decode 的 GEMV 在 TP 度数高时通信开销占比迅速恶化,很多时候 TP=2 甚至单卡更划算。DistServe 的一个核心结论就是「两阶段各自的最优并行配置不同」——混跑时被迫用同一个 TP 配置,两头都拿不到最优;分离后 prefill 用高 TP 追算力峰值、decode 用低 TP 保带宽效率,同等的总卡数下能支撑更高的好吞吐(goodput,指满足 SLO 的有效吞吐)。这是 PD 分离除了「消除干扰」之外的第二个收益来源,也是它在大集群上尤其划算的原因。
当然,分离也不是免费午餐。它引入了一个全新的排队环节:KV 到达 decode 实例后还要排队等显存槽位,如果 decode 池容量不足,请求会卡在「prefill 已完成、decode 未开始」的中间态,TTFT 到完整首 token 的口径会被这部分排队污染。容量规划上两侧必须联动:prefill 池的产出速率(条/秒的 KV 流)不能超过 decode 池的接纳能力,否则中间队列会无限积压。这也是为什么生产部署里两侧的弹性伸缩策略要共用一个流量预测信号,而不是各自为战。
五、KV cache 传输:分离的代价都花在这里
一次 PD 分离要搬运的数据量是整段 prompt 的 KV cache:层数 × 2(K 和 V)× prompt 长度 × KV 头数 × 头维 × 字节数。以 70B 级模型、4000 token prompt 估算,GQA(分组查询注意力)压缩后也在几百 MB 量级。这点数据在 NVLink(单向几百 GB/s,见 NVLink 与 PCIe GPU 互联)上是亚毫秒级,但在 100G 以太网上就是几十毫秒——已经和 decode 一步的时延同量级,处理不好就把 TTFT 省下的时间全赔回去。
工程上的应对分三层。传输时机层:不要等 prefill 全部算完再传,而是逐层流水——第 i 层的 KV 一算完就立刻发往 decode 侧,和第 i+1 层的计算重叠,这叫 layer-wise pipelining,能把传输时间基本藏进计算里。传输拓扑层:同机 NVLink 域内直接 GPU 间 DMA(GPUDirect),跨机走 GPUDirect RDMA 绕过主机内存和内核协议栈;Mooncake 这类系统还引入了分布式 KV cache 池,把 KV 当成可共享的存储对象而不是点对点消息。放置决策层:调度器选 decode 实例时优先选「传输代价低」的目标——同机优先、同 rack 次之,把网络跳数纳入 placement 策略。
这张逐层流水图是 KV 传输的核心技巧:层与层之间计算和传输交错,理想情况下最后一层 KV 到达时,前面 L-1 层早已就位,decode 可以立刻起第一步。注意它对框架的要求不低——KV cache 的显存布局(比如 PagedAttention 与 vLLM serving 的 block 分页)必须支持按层切片发送,接收侧也要按相同 block 表重建,两侧框架版本不一致是线上事故的高发区。
传输链路的监控也别省。需要盯的指标至少包括:每层 KV 的发送/到达时间差(流水是否真重叠上了)、传输带宽利用率(是不是被同机的其他流量挤了)、以及端到端的 KV 移交时延占 TTFT 的比例——这个比例健康时应该在 5% 以内,一旦爬升到 20% 以上,说明网络或 placement 出了问题。GPUDirect RDMA 还有个经典坑:显存注册(memory registration)没有预做,第一次传输时临时注册会多出几百微秒到几毫秒,冷启动请求的 TTFT 突然变差,处理方法是连接建立时就预注册 KV 池的全部显存区域。
最后提一个和传输相关的优化方向:KV cache 压缩后再传。既然 KV 要走网络,量化到 INT8 甚至 INT4 再传,带宽需求直接减半到四分之一,代价是 decode 侧解量化的少量算力和轻微精度损失。对长 prompt 场景(KV 几百 MB 起步)这笔买卖通常是赚的,尤其跨机房部署时几乎是必选项。
六、两条路线对比:SARATHI 与 DistServe
到这里可以把两条技术路线摆在一起看了。SARATHI/Sarathi-Serve 代表「单实例内调度优化」路线:不拆硬件,用 chunked prefill 加 piggyback 在调度层面消除干扰。DistServe 代表「架构拆分」路线:两阶段独立成组,各自配并行策略,靠 KV 传输衔接。
| 维度 | chunked prefill(SARATHI) | PD 分离(DistServe 系) |
|---|---|---|
| 硬件改动 | 无,原集群即可 | 拆成两组资源池,可异构 |
| 主要增益 | TPOT 抖动收敛,吞吐提升 | TTFT/TPOT 解耦,各自达标 |
| TTFT 影响 | 略变长(切块排队) | 取决于 prefill 池容量,可独立压 |
| 新引入开销 | chunk 边界 KV 重读 | KV 跨实例传输 |
| 运维复杂度 | 低,改调度器和 kernel | 高,多一类服务和传输链路 |
| 适用规模 | 中小集群、同型卡 | 大规模、SLO 严格、流量杂 |
| 失效模式 | chunk 配置不当两头不讨好 | 传输拥塞、两侧容量失衡 |
实际系统往往是混合的:PD 分离的 prefill 集群内部照样跑 chunked prefill 来平滑自身的 batch,decode 集群内部跑 continuous batching。Mooncake(Kimi 的生产架构)更进一步,把 KV cache 池独立成第三层,prefill 和 decode 都从池里读写,配合「长 prompt 倾斜调度」在真实流量上把吞吐拉高了一个量级。vLLM 社区也在 1.x 架构里把 PD 分离做成可插拔的 KV connector 接口,说明这条路线已经从论文走向主流框架的内建能力。
这张图是落地决策的演进阶梯。经验法则:prompt 普遍短于 2k token、QPS 不高时,continuous batching 就够了;开始出现长 prompt 卡顿投诉,先上 chunked prefill,这是投入产出比最高的一步;当 TTFT 和 TPOT 的 SLO 都写进合同、且集群规模上到几十卡,PD 分离才是必答题。跳到第四档(分布式 KV 池)之前,先把第三档的传输链路调稳。
选型时还有两个容易踩的决策误区。其一,不要只看平均时延做判断——PD 分离的增益主要体现在 P95/P99 尾部,平均时延可能反而略升(多了 KV 传输的固定开销),用错指标会得出「分离没用」的错误结论。其二,不要忽视流量形状的变化:今天的流量以短 prompt 为主,上了 chunked prefill 觉得够用,但产品一旦接入长文档场景(RAG 召回拼接、代码库上下文),prompt 均值可能一个月翻倍,分离架构的储备要提前做。架构演进的窗口期通常比预期短,等 P99 炸了再拆,迁移期会很难熬。
这一篇在知识体系里的位置
本篇是 LLM serving 系列从「单实例调度」走向「分布式架构」的分水岭。往前看,它建立在 KV cache 与推理显存 的显存模型、PagedAttention 与 vLLM serving 的显存管理、continuous batching 调度器 的迭代级调度之上;attention 计算本身的访存优化见 FlashAttention 显存分块,它解释了为什么 prefill 能打成稠密 GEMM。KV 传输依赖的硬件通道见 NVLink 与 PCIe GPU 互联,多卡域内拓扑见 多 GPU 与 NVLink 互联。往后看,PD 分离之后会接 TTFT/TPOT 的 SLO 建模与容量规划、投机解码对 decode 阶段算术强度的改造,那是 serving 优化的下一层。
总结
预填充解码分离的本质是承认 prefill(算力饥渴、决定 TTFT)和 decode(带宽饥渴、决定 TPOT)是两种动物:先用 chunked prefill 把长 prefill 切块让 decode 搭便车、消除同卡干扰,流量和 SLO 再上一个台阶就把两阶段拆到独立资源池、靠逐层流水的 KV 传输衔接——SARATHI 教会我们在调度里省,DistServe 教会我们在架构里拆,生产系统通常两者都用。