PD 分离推理集群:prefill/decode 配比推导、KV 传输层与 Mooncake/DistServe/NIXL 部署形态
更新时间:2026-10-01。上一篇 预填充解码分离 讲清了「为什么要拆」——prefill 吃算力、decode 吃带宽,混跑互相拖累,chunked prefill 是过渡、PD 分离是架构答案。这一篇往前走一步,回答「拆完怎么落地」:一个真正的 PD 分离推理集群(Prefill/Decode Disaggregated Serving Cluster)不是两台机器拉根线,而是要回答配比多少、KV 走哪条路、流量涨了先扩哪边、一台 decode 挂了怎么办这一串工程问题。前置知识沿用站内系列:显存账本见 KV cache 与推理显存,时延指标口径见 LLM serving 的 TTFT/TPOT SLO,调度底座见 continuous batching 调度器,互联硬件见 NVLink 与 PCIe GPU 互联。
本文要回答的问题
- prefill 节点和 decode 节点的数量配比怎么从流量特征推导,而不是拍脑袋?
- KV cache 传输层有哪些拓扑选择,NVLink 域内直拷和跨机 RDMA 各适合什么规模?
- 流量波动时 prefill 池和 decode 池怎么弹性伸缩,为什么不能各自为战?
- PD 分离引入了哪些新的故障域,请求挂在「KV 传了一半」的中间态怎么处理?
- Mooncake、DistServe、NIXL 三套代表系统的设计取向差在哪,选型看什么?
一、集群形态总览:五个角色,三条链路
把 PD 分离从论文搬到机房,一个最小可用的集群包含五个角色:请求路由层(gateway/router)、prefill 池、decode 池、KV 传输层,以及贯穿四者的全局调度器(有的系统把它合进路由层,有的独立成服务)。三条关键链路是:路由到 prefill 的请求分发链路、prefill 到 decode 的 KV 搬运链路、decode 到用户的流式响应链路。
这张图是全篇的地图。和单体 serving 相比,多出来的不只是「两类节点」,而是两个新角色:KV 传输层是分离架构的咽喉,全局调度器是两侧不失衡的保证。单体时代调度器只看一个 batch 的显存和队列,分离之后它要同时掌握 prefill 池的产出速率和 decode 池的接纳速率——这两者一旦失配,请求就堆在中间的 KV 移交队列里,TTFT 口径被污染,用户看到的是「首 token 变慢」但 prefill 池的监控一切正常,排查方向很容易走偏。下面逐节把五个角色拆开。
还要先立一个心智模型:PD 分离集群是一个串联系统。端到端时延 = 路由排队 + prefill 排队与计算 + KV 传输与移交 + decode 排队 + decode 首步。串联系统的经典结论是「整体 P99 由最差的环节决定」,任何一环容量不足,其他环节配得再富余也白搭。这和单体 serving 的调优思路很不一样——单体只有一个队列一处资源,超配就能兜底;串联架构里超配错地方等于浪费,这就是为什么后面配比推导值得花一整节。
二、配比推导:从流量到 P:D 比
PD 分离集群第一个、也是被问得最多的设计问题是:prefill 和 decode 各配多少卡?推导的出发点是两个阶段的「服务速率」模型。
设每条请求平均输入 L_in 个 token、平均输出 L_out 个 token。单卡 prefill 吞吐近似为 T_p token/秒(算力饱和时的实测值),单卡 decode 吞吐近似为 T_d token/秒(带宽饱和时的实测值)。那么 P 张 prefill 卡每秒能消化 P × T_p 个输入 token,D 张 decode 卡每秒能产出 D × T_d 个输出 token。稳态下两侧的 token 流必须和流量匹配:
prefill 侧:QPS × L_in ≤ P × T_p decode 侧:QPS × L_out ≤ D × T_d
两式相除,得到配比的下界关系:P : D ≈ (L_in / T_p) : (L_out / T_d)。代入一组典型的 70B 级模型数字感受一下:L_in = 2000、L_out = 300,单卡 prefill 实测 8000 token/秒、单卡 decode(大 batch 摊薄后)实测 1500 token/秒,则 P : D ≈ (2000/8000) : (300/1500) = 0.25 : 0.2 ≈ 5 : 4。注意这个比例对输入输出长度比极其敏感:如果产品形态从问答(输出短)变成代码生成(输出 2000+ token),decode 侧需求翻几倍,配比可能倒转成 1 : 2。
| 流量形态 | L_in | L_out | 推导出的 P:D 倾向 |
|---|---|---|---|
| RAG 问答 | 4000(长检索拼接) | 200 | prefill 重,3:1 甚至更高 |
| 通用对话 | 800 | 300 | 接近 1:1 |
| 代码生成 | 1500 | 2000 | decode 重,1:2 |
| 摘要改写 | 6000 | 500 | prefill 极重,4:1 以上 |
公式只是起点,落地还要打三个修正。第一是 SLO 修正:上面的推导只保证稳态吞吐够,不保证 P99 达标。排队论告诉我们利用率越接近 100% 排队时延越爆炸,工程上两侧都要留利用率余量——prefill 池按 60-70% 目标利用率配,decode 池因为时延对 batch 更敏感,常按 50-60% 配,等于在公式结果上乘一个 1.4-2 的冗余系数。第二是突发修正:prompt 长度是重尾分布,来一批 32k 长文请求会瞬间把 prefill 池打穿,而 decode 池毫无感觉,两侧的冗余系数要按各自的突发特征分别定。第三是并行策略修正:两侧用不同的张量并行(TP)度数时,「单卡吞吐」的实测值要换成「单实例吞吐」,prefill 常用高 TP 追算力、decode 常用低 TP 保带宽效率,实例粒度不同,配比要按实例数重算。
再举一个完整的推导算例把流程走一遍。某对话产品峰值 40 QPS,输入均值 1200 token、输出均值 400 token;实测单 prefill 实例(TP=4)吞吐 24000 token/秒,单 decode 实例(TP=2)吞吐 4000 token/秒。稳态需求:prefill 侧 40 × 1200 = 48000 token/秒,需要 2 个实例;decode 侧 40 × 400 = 16000 token/秒,需要 4 个实例,稳态配比 1:2。打冗余:prefill 按 65% 目标利用率配 2 / 0.65 ≈ 3.1,向上取 4;decode 按 55% 配 4 / 0.55 ≈ 7.3,向上取 8。最终部署 4:8,即 1:2 的实例比——可以看到冗余修正把稳态 1:2 放大到了 1:2 但绝对数量翻倍,这就是「公式给比例、SLO 给总量」的含义。长 prompt 场景还要再做一次极端校验:假设突然来一批 16k 输入的请求占 10% 流量,重算 prefill 需求会变成原来的两倍以上,4 个实例立刻吃紧,这时要么提前超配、要么接受 TTFT 短时劣化并靠下一节的快速扩容补位。
这张图是配比工作的完整流程,最后一步「压测校准回测」不能省:稳态公式假设 token 流均匀,真实流量的到达过程是突发的,只有压测能暴露尾部行为。一个实用技巧是压测时分别锁住一侧容量、扫另一侧,画出「P 固定时 TPOT 随 D 变化」和「D 固定时 TTFT 随 P 变化」两条曲线,拐点就是两侧的最低容量,比纯公式可靠得多。还有一点常被忽略:模型升级(比如换量化方案、升框架版本)会同时改变 T_p 和 T_d,配比不是一次性工作,每次大版本变更都要重跑校准。
三、KV 传输层:集群的咽喉
配比定了之后,第二个设计问题是 KV cache 怎么搬。一次搬运的数据量是「层数 × 2 × 上下文长度 × KV 头数 × 头维 × 字节数」,70B 级模型、4k 上下文在 GQA 压缩后大约几百 MB。传输层的选择直接决定这几百 MB 花多少时间,而这部分时间基本全额计入 TTFT。
传输拓扑按规模分三档。第一档是同机 NVLink 域内:prefill 和 decode 实例部署在同一台 8 卡机的不同 GPU 上,KV 走 GPUDirect P2P 直拷,单向带宽几百 GB/s,几百 MB 亚毫秒级完成,传输开销可以忽略——这是成本最低的形态,缺点是 P:D 配比被机器规格锁死(一台机里几张卡跑 prefill、几张跑 decode,调整粒度是一台机),且失去了异构配卡的自由。第二档是同机房 RDMA:跨机走 GPUDirect RDMA over InfiniBand 或 RoCE,200G 到 400G 链路下几百 MB 是几毫秒到十几毫秒量级,和 decode 一步时延同量级,需要逐层流水(layer-wise pipelining)把传输藏进计算。第三档是跨机房:带宽掉到几十 G、时延加毫秒级网络 RTT,KV 必须先量化压缩再传,只适合容灾或错峰调度场景,不承担在线主链路。
三档拓扑里第二档是生产主力,它的工程细节也最多。逐层流水的原理在 预填充解码分离 里讲过——第 i 层 KV 算完即发、与第 i+1 层计算重叠;集群层面要补充的是 placement(放置)策略:调度器给请求选 decode 实例时,把「传输代价」纳入打分——同机优先、同 rack 次之、跨 rack 兜底。Mooncake 走得更远,把 KV cache 从「点对点消息」改造成「分布式存储对象」:prefill 写完 KV 挂到全局 KV 池,decode 从池里按需拉取,传输层从一次性搬运变成可复用的缓存层,命中率高的前缀 KV 甚至不用搬第二次。
带宽账也值得细算一次,它决定了传输层会不会反过来成为容量瓶颈。沿用上面的算例:40 QPS、单请求 KV 按 300 MB 估,集群每秒要搬 12 GB。单条 200G RDMA 链路有效带宽按 20 GB/s 算,看似一条链路就够,但这是聚合带宽——问题在于瞬时性:KV 搬运集中在 prefill 完成的那个时间窗内,40 QPS 的请求到达是突发的,瞬时带宽需求可能是均值的三到五倍。工程上给传输层留带宽余量的口径和给 GPU 留算力余量一样,按均值的 3 倍规划链路容量,或者在调度器里做 KV 发送整形(rate limiting),用轻微排队换链路不炸。
传输层的可靠性设计也别省。RDMA 需要预注册显存区域(memory registration),冷连接首次传输临时注册会多出几百微秒到几毫秒,要把注册放在连接建立时做完;传输失败要有重传路径,但重传会打乱逐层流水的时序,更稳的做法是记录已确认到达的层号、从断点续传而不是整段重来;带宽上要给 KV 流量做 QoS 隔离,避免它被同机其他流量(比如训练 checkpoint 回传)挤占——KV 传输时延的抖动会直接变成 TTFT 的抖动。
四、弹性伸缩:两侧必须共用一个大脑
流量是波动的,PD 分离集群的弹性伸缩比单体 serving 多一个维度:不光要决定「扩不扩」,还要决定「扩哪边」。好在分离架构让这个问题的信号变得干净——TTFT 恶化而 TPOT 正常,说明瓶颈在 prefill 池;TPOT 恶化而 TTFT 正常,瓶颈在 decode 池;两个指标同时恶化且中间队列积压,是两侧都缺或者传输层堵了。SLO 指标的口径见 LLM serving 的 TTFT/TPOT SLO,伸缩策略直接以这两个指标的 P99 为触发信号。
但「各自看指标各自扩」是个坑。上一节说过两侧是串联系统,prefill 池扩得太快,产出 KV 的速率超过 decode 池的接纳能力,请求全堆在移交队列里,TTFT 反而更差——扩容让指标恶化,自动伸缩系统可能误判成「还不够」继续扩 prefill,形成正反馈振荡。正确的做法是两池共用一个伸缩控制器:它同时读两侧的排队深度、显存水位和 KV 移交队列长度,按「保持两侧产出速率与接纳速率匹配」的原则联动调整。水位信号的选取上,prefill 池看「待处理的 prompt token 总量」比看请求数更准(一条 32k 请求顶几十条短请求),decode 池看「活跃序列的 KV 显存占用率」最准——PagedAttention 与 vLLM serving 的 block 水位可以直接复用。
缩容侧还有一个 decode 特有的麻烦:实例不能一关了之。一台 decode 实例上可能趴着几十条正在生成的长输出请求,直接下线等于批量制造上节说的「最疼故障」。标准做法是「排水」(drain):先把它从调度器的放置列表里摘掉、不再接新请求,等存量请求自然走完再关机。长输出场景排水可能要十几分钟,自动伸缩系统要把「排水中的实例」当作一种中间状态计入容量——它不再接纳新 KV,但还在消耗显存和带宽,水位计算漏了它会导致控制器误判余量、提前缩第二台。prefill 实例排水就快得多:不接新请求后,队列里剩余的 prompt 几分钟内就能排空。
图里那个「KV 移交队列」是控制器的核心观测对象:它的深度是两侧失配的积分信号,比任何单侧指标都更早暴露失衡。健康状态下队列深度应该趋近于零——KV 一到就被接走;队列持续增长说明 decode 池欠配,队列长期为空而 prefill 排队增长说明 prefill 池欠配。伸缩的另一个不对称性要注意:decode 实例扩容慢(要加载权重、预热 KV 池槽位,分钟级),缩容也慢(要把活跃请求迁移或等其自然结束),而 prefill 实例相对轻——所以 decode 池宜按预测提前扩、按滞后缩,prefill 池可以更激进地跟随实时水位。
五、故障域:分离之后多了哪些死法
单体 serving 的故障模式很简单:实例挂了,上面的请求全死,客户端重试。PD 分离把一条请求的生命周期拉长到跨两个实例加一次传输,故障域随之增加,每多一个环节就多一类「半死」状态。
把四类故障排个优先级再展开。按发生频率,传输中断最常见(网络是分布式系统里最不老实的部件),调度器故障次之(软件迭代引入),实例宕机反而是低频事件;但按单次损失排序完全反过来——decode 宕机丢掉的是「prefill 已算完、用户已看到一半」的请求,损失最大。设计容错预算时要按损失而不是频率分配精力。
这张请求生命周期状态图把故障注入点标清楚了。注意「KV 传输中」是唯一用户无感知的窗口:此时还没开始输出,重试几次用户都不知道;而 decode 生成中的故障直接打断用户眼前的流式输出,是体验损失的重灾区。状态机的另一个用途是埋点设计——每个状态转换打一条日志带请求 ID,线上排查「这条请求卡在哪」就是查它停在哪个状态,没有这个状态机视角,PD 集群的排障会在两侧实例的日志之间来回猜。
四类故障里最疼的是 decode 实例宕机:请求已经走完 prefill、KV 也搬过来了,用户可能已经看到一半回答,此时实例挂掉,已生成的上下文 KV 随显存一起消失。处置策略取决于 KV 的可见性——如果架构里有全局 KV 池(Mooncake 式)且已生成的 KV 有持久化副本,可以把请求调度到另一台 decode 实例「接着生成」,用户只感到一次卡顿;如果是点对点传输、KV 只存在于目标实例显存里,就只能整条请求重头来,TTFT 翻倍起步。这也是为什么大规模部署越来越倾向于 KV 池化:它表面上是性能优化(前缀复用),实质上也买了故障恢复的保险。
传输中断是第二常见的故障,RDMA 网卡抖动、交换机拥塞都会造成。关键是把「传输完成确认」做成显式协议:decode 侧按层确认,超时未确认的层触发重传,超过重传上限则整条请求回炉。调度器故障反而好办——调度器本身无状态(状态都在两侧的显存水位里),多副本加选主即可,真正要小心的是调度器恢复瞬间「容量视图」是空的,容易做出把全部流量打到一台实例的蠢决策,启动后要先有一段只观测不调度的热身窗口。此外还有一个隐性故障域:版本错配。prefill 侧和 decode 侧框架的 KV block 布局、量化格式必须一致,灰度发布期间两侧版本不齐会导致 KV 解析错乱,这种故障不宕机但输出乱码,比宕机难查得多,发布流程上要把 PD 两侧锁成同一个发布单元。
六、代表系统对比:Mooncake、DistServe、NIXL
最后把三套常被引用的系统摆在一起。三者解决的是同一个问题,但切入层完全不同:DistServe 是「配比与并行策略」层的工作,Mooncake 是「集群架构与 KV 池」层的工作,NIXL 是「传输原语」层的工作——它们更多是互补关系而不是替代关系。
| 维度 | DistServe | Mooncake | NIXL |
|---|---|---|---|
| 定位 | 学术原型,配比优化器 | 月之暗面生产架构 | 英伟达开源传输库 |
| 核心贡献 | 按 SLO 反推两阶段并行与副本数 | 全局 KV 池、以存换算、前缀复用 | 统一的 GPU 显存点对点传输抽象 |
| 传输层 | 逐层流水,NCCL 点对点 | 分布式 KV cache 池加 RDMA | 屏蔽 NVLink 与 RDMA 差异的 API |
| 调度侧重 | 静态规划,离线算配比 | 在线调度加长 prompt 倾斜 | 不管调度,只做搬运 |
| 适合谁 | 容量规划方法论参考 | 大规模生产的架构蓝本 | 自建 PD 框架的传输底座 |
DistServe 的价值不在代码而在方法论:它第一次把「给定 TTFT/TPOT 双 SLO,求最小总卡数」形式化成优化问题,得出的结论——两阶段各自的最优 TP 配置不同、分离后同等卡数好吞吐(goodput)显著提升——是整个 PD 分离方向的理论地基。做容量规划时,它的思路可以直接搬:把第二节的配比公式换成带 SLO 约束的搜索。
Mooncake 是生产级答案。它的全局 KV 池把 decode 实例从「必须本地持有全部 KV」中解放出来,KV 按 block 存在池里、按需拉取,长公共前缀(系统提示词、多轮对话历史)只算一次存一份——在 Kimi 的真实流量上,前缀命中率高的请求 TTFT 大幅下降。它的调度器还做了「长 prompt 倾斜」:预估输出长度短的请求优先,把 decode 显存让给能快速周转的请求。这套架构的代价是复杂度:KV 池本身又成了一个需要运维的分布式存储系统。
NIXL(NVIDIA Inference Xfer Library)解决的是最底下那层脏活:同一个「把这块显存搬到那个节点」的语义,底下可能是 NVLink P2P、同机 DMA、GPUDirect RDMA over IB 或 RoCE,甚至跨云专线。NIXL 提供统一抽象加异步逐块传输,让上层的 PD 框架(vLLM、Dynamo、TensorRT-LLM 的分离模式)不用自己重写传输栈。选型上的实用结论是:自研集群调度就用 NIXL 当传输底座,架构设计参考 Mooncake,容量规划用 DistServe 的方法论——三者拼起来正好覆盖本文的第二到第五节。
这张图把三套系统放回分层视角:它们不是竞争关系,而是同一个栈的三层。评估任何 PD 分离方案时都可以按这三层自问——配比有没有理论依据、KV 是点对点还是池化、传输层抽象是否干净——三个答案凑齐,方案的成熟度基本就有数了。
这一篇在知识体系里的位置
本篇是 LLM serving 系列「分布式部署」一层的枢纽。正前方是 预填充解码分离,讲为什么要拆;本篇讲拆完之后集群怎么搭。依赖的前置件:KV cache 与推理显存 给出 KV 数据量的账本,LLM serving 的 TTFT/TPOT SLO 给出伸缩触发指标的口径,continuous batching 调度器 是两池内部的调度底座,PagedAttention 与 vLLM serving 的 block 水位是 decode 池的扩缩信号源,NVLink 与 PCIe GPU 互联 是传输层第一档拓扑的硬件基础。往后接的方向:全局 KV 池的分布式存储设计、多模态请求的分离调度、以及跨机房 PD 的容灾编排。
总结
PD 分离推理集群的落地四部曲:用「输入输出长度比 × 单实例吞吐」推配比并打 SLO 冗余、按规模选 KV 传输拓扑(同机 NVLink、同机房 RDMA 逐层流水、跨机房先压缩)、两池共用一个盯住移交队列的伸缩控制器、给「KV 传了一半」的中间态备好断点续传与重试——方法论学 DistServe、架构学 Mooncake、传输底座用 NIXL,三层拼齐就是一个能扛生产流量的分离集群。