多机推理编排:Ray 与 vLLM 的 placement group 和流水线部署
更新时间:2026-10-02。前面 PagedAttention:vLLM 用分页 KV cache 把推理吞吐翻几倍 和 推理引擎运行时调度 讲的都是「一台机器内部」怎么把显存和批次榨干。但 70B 以上的模型单机八卡往往装不下,或者装得下却撑不起并发——这时问题从「单机调度」升级为「多机推理编排」:哪些 worker 放哪台机、谁和谁共享 NVLink、跨机流水线的数据怎么流。这篇以社区最常见的组合 Ray + vLLM 为主线,把编排层的关键概念讲清楚。
本文要回答的问题
- 单机放不下模型时,多机部署有哪几种切法,各自对网络的要求差多少?
- Ray 的 placement group 是什么,为什么它是多机推理编排的核心原语?
- vLLM 怎么借助 Ray 把张量并行、流水线并行的 worker 落到具体节点上?
- prefill/decode 分离部署在编排层多了哪些新约束?
一、为什么单机不够:切模型的两条轴
先看账。一个 FP16 的 70B 模型权重约 140 GB,单张 80 GB 的 A100/H100 装不下,单机八卡(640 GB)装得下权重,但留给 GPU 显存 HBM 与 GDDR 里讲过的 KV cache 的空间就不宽裕了;想要更高并发或更长上下文,就得跨机。跨机切模型有两条正交的轴:
- 张量并行(tensor parallel, TP):把每一层的权重矩阵横切,每台机器算一部分,层内做 AllReduce 合并结果。通信发生在每一层、每个 decode step,对带宽和延迟极度敏感——机内 NVLink(数百 GB/s)扛得住,跨机 RDMA(25~50 GB/s 有效带宽)就很疼。通信细节见 张量并行通信重叠。
- 流水线并行(pipeline parallel, PP):把模型按层切成若干段(stage),每台机器负责一段,激活值从上一段流到下一段。通信只在段边界发生一次,数据量小得多,跨机网络基本够用;代价是有流水线气泡,调度要配合,见 流水线并行气泡调度。
工程上的经验法则因此是:TP 尽量圈在单机 NVLink 域内,跨机走 PP。一个 16 卡两节点的部署,典型配置是 TP=8、PP=2——每台机器内部张量并行,两台机器之间流水线衔接。多机推理编排的第一件事,就是把这条法则翻译成「哪几个 GPU 进程落在哪台物理机」的具体摆放。
二、placement group:编排层的资源预留原语
Ray 是 Python 生态里最常用的分布式编排框架,vLLM 的多机后端默认走它。Ray 里单个工作单元叫 actor(一个常驻的 Python 进程,比如 vLLM 的一个 worker),而 placement group 是「一组必须整体满足的资源的预留单」——这是多机推理编排里最要理解透的概念。
为什么需要它?设想没有 placement group 的摆法:调度器逐个创建 16 个 worker actor,每个要 1 张 GPU。Ray 默认按集群空闲情况随手放,结果可能是 9 个落在节点 A、7 个落在节点 B——TP=8 的组被劈成两半,一半 AllReduce 要跨机走慢速网络,吞吐直接腰斩。更糟的情况是分批创建时节点资源被别人抢走,16 个 worker 永远凑不齐,服务挂起死等。
placement group 用两个机制解决这两个坑:
- 原子预留:一个 placement group 声明若干 bundle(资源包,如
{GPU:1, CPU:8}共 16 个),要么全部 placement 成功,要么整体排队等——不存在「凑了一半」的中间态。 - 放置策略(strategy):
STRICT_PACK要求所有 bundle 挤进同一台节点(单机多卡 TP 用);PACK尽量集中但允许溢出;SPREAD强制打散(副本反亲和用);STRICT_SPREAD必须落在不同节点(PP 各 stage 各占一台时用)。
vLLM 的多机启动流程因此是:driver 按 TP×PP 算出 worker 数,按「每节点一个 bundle 组」组织 placement group——TP=8、PP=2 就是两组各 8 个 GPU bundle,组间用 STRICT_SPREAD 保证落在两台机器,组内天然同机。worker 全部就位后,driver 把 rank、通信地址发下去,各 worker 建立 NCCL 通信组,引擎才开始接客。
上图里 placement group 是 driver 和物理节点之间的「合同」:先整体锁定资源,再谈通信拓扑。注意一个细节——如果 TP 跨了机(比如 TP=16 强行铺满两台),placement group 照样能摆成功,Ray 不管通信快不快,拓扑正确性是上层配置的责任,这也是多机编排最常见的踩坑点。
三、从 placement 到跑起来:编排层的三件事
placement group 解决「放哪」,编排层还要管三件事。
启动顺序与健康。worker 启动要加载几十上百 GB 权重,从共享存储或对象存储拉模型往往比计算初始化更耗时。编排层得给足 readiness 探针的宽限(分钟级),并在 worker 中途挂掉时决策:是整体重建 placement group,还是只补一个 worker。vLLM 目前的取向偏保守——分布式组里任何一个 rank 挂了,整个引擎实例重建,因为 NCCL 通信组没法热替换成员。
异构资源的表达。真实集群里节点可能有不同代际的卡。placement group 的 bundle 可以带自定义资源标签(如 {GPU:1, "node:h100":0.01}),把某一组钉在 H100 节点上。这让「prefill 用算力强的卡、decode 用显存大的卡」这类异构编排有了表达通道。
与上层流量的接缝。编排层只保证引擎活着,接流量还要服务发现:driver 暴露的 OpenAI 兼容 API 地址注册到负载均衡,多个引擎副本(每个副本自己是一组 placement group)前面挡一层网关。多副本之间用 SPREAD 策略互斥落机,避免一台物理机挂掉带走全部容量。
上图展示了两层结构:网关管「请求进哪个副本」,placement group 管「副本内部 worker 进哪台机器」,两层互不知道对方的细节——这正是编排清晰的标志。
四、新形态:prefill/decode 分离对编排的增量约束
近两年生产部署的主流走向是 prefill/decode 分离:prefill 是算力密集、decode 是带宽密集,拆成两池各自扩缩容(背景见 chunked prefill 与 PD 分离 和 分离式推理集群)。放到编排层,这相当于从「一种 placement group」变成「两种 placement group 加一条 KV 传输通道」:
- prefill 池的 PG 偏向大 TP、节点数少而算力集中;decode 池的 PG 偏向显存优先、副本多而分散;
- 两池之间要传 KV cache,编排层需保证对应的 worker 对之间网络可达且带宽够(同机 NUMA 内或同机架 RDMA 优先),这又是一条 placement 约束;
- 流量侧的调度器(请求先去哪池、KV 句柄怎么交接)由引擎层解决,但扩缩容的节奏——prefill 池按排队 prompt token 数扩、decode 池按活跃序列数扩——是编排层要落地的策略。
落地的工程清单因此比单机时代长了不少:placement group 策略要和通信拓扑对齐(TP 不出 NVLink 域)、健康检查要区分「worker 慢」和「worker 死」、多副本要反亲和、PD 分离要管两池比例。这些都不改变单机的核心机制——PagedAttention 管显存、continuous batching 管批次——而是给它们套上一层「跨机一致摆放」的壳。把这层壳想清楚了,多机推理编排就从玄学变回了资源算术。
这一篇在知识体系里的位置
本篇是「推理服务化」线索从单机走向集群的一步:上游是 PagedAttention(单机显存管理)与 推理引擎运行时调度(单机批次调度);并行切分的通信细节见 张量并行通信重叠 和 流水线并行气泡调度;下游延伸是 分离式推理集群(PD 分离的完整集群形态)。
总结
多机推理编排的本质是把「TP 圈在 NVLink 域内、PP 跨机衔接」这条拓扑法则落成具体的资源摆放:Ray 的 placement group 用原子预留加放置策略(STRICT_PACK/SPREAD)保证 worker 组要么整体就位、要么落对机器,vLLM 在其上建通信组起服务;再往上,多副本反亲和与 prefill/decode 分离的双池结构,都只是这套原语的组合运用。