张量并行通信重叠:AllReduce 与 AllGather 藏进计算背后的工程手段全解
更新时间:2026-09-30。在 多 GPU NVLink 互联 里我们看过单机多卡之间的带宽物理底座,在 CUDA streams 异步重叠 里学过单卡内 kernel 与拷贝怎么并行。这一篇把两件事合起来回答一个分布式训练里最常见的问题:张量并行(Tensor Parallelism,TP)切开的矩阵乘,每层都要 AllReduce/AllGather 同步,通信一旦暴露在关键路径上,多卡加速比就被活活吃掉——怎么把通信藏到计算背后去。
本文要回答的问题
- 张量并行每个 Transformer 层到底产生几次集合通信,通信量和 TP 度数、隐藏维度怎么算?
- 列切、行切两种切分为什么必须搭配使用,中间那次 AllReduce 能不能省掉?
- 序列并行(Sequence Parallelism)把 LayerNorm/Dropout 也切开之后,AllReduce 为什么换成了 AllGather + ReduceScatter,通信量真的不变吗?
- 通信与计算重叠有哪三种工程手段,各自的收益和约束是什么?
- 怎么量化「通信占比」,什么信号说明 TP 度数开太大、该缩小 TP 域了?
一、TP 的通信从哪来:列切与行切的配对
张量并行的切法(Megatron 风格)用一句话说:把每个大矩阵乘按列或按行切到 TP 组内的 N 张卡上,每张卡只算自己那一块,必要时做一次集合通信把结果对齐。关键设计是列切和行切必须成对出现。
- 列切(column parallel):
Y = XW中把 W 按列切成 N 份,每张卡算Y_i = XW_i,得到 Y 的一部分列。输入 X 每张卡都要有完整副本,不需要通信;输出是「各拿一段」的切片。 - 行切(row parallel):把下一个矩阵 V 按行切成 N 份,输入正好是上一段列切输出的切片,每张卡算出部分和
Z_i = Y_i_slice · V_i,这里必须做一次 AllReduce 把 N 份部分和加成完整的 Z。
MLP 块就是 列切(升维) → GeLU → 行切(降维) → AllReduce;Attention 块是按头数切 Q/K/V 投影(本质是列切),输出投影走行切,同样以一次 AllReduce 收尾。所以每个 Transformer 层固定 2 次 AllReduce(Attention 一次、MLP 一次),这是 TP 通信的基准账。
把数字落实:前向一次 AllReduce 搬运的有效数据是 s × b × h 个元素(s 为序列长度、b 为微批大小、h 为隐藏维度),ring-AllReduce 每卡实际收发的字节数是 2 × (N-1)/N × s × b × h × sizeof(dtype),N 越大系数越接近 2。以 h=8192、s=4096、b=1、BF16 为例,单次 AllReduce 每卡收发约 128 MB;反向还有一次同量级。一层两次 AllReduce、40 层模型一个 step 前向反向合计约 15 GB 每卡通信量——这不是边角料,是主菜。
二、通信占比的账:什么时候 TP 开始亏本
通信会不会成为瓶颈,不取决于通信量本身,取决于通信时间和计算时间的比值。一层 MLP 的计算量约 16 × b × s × h² FLOPs(升维降维各 8),通信量约 4 × s × b × h 字节(前向反向各一次 AllReduce,系数 2)。两个都随 s、b 线性增长,但计算随 h 平方增长、通信随 h 线性增长——这是判断 TP 是否划算的核心标度律。
经验法则:用「算术强度」把两者除一下,TP 单层算术强度正比于 h。h=8192 的 70B 级模型,在 NVLink(单机内 600-900 GB/s 双向)上计算通信比还很健康;h=2048 的小模型同样的 TP 度数,通信时间轻松超过计算时间,多卡反而比单卡慢。
测算方法很朴素:Nsight Systems 或框架自带的通信计时,把 NCCL kernel 的总时长和 GEMM kernel 的总时长分别统计,相除即得暴露通信占比。注意要剔除重叠掉的通信(第五节展开),真正伤性能的是「暴露在关键路径上的那部分」。
再给一个可以直接套用的估算流程。第一步,查卡的有效带宽:不要信 NVLink 标称值,用 nccl-tests 的 all_reduce_perf 在目标集群上实测,取消息大小在 64-256 MB 区间的算法带宽(algbw),这才是 AllReduce 在真实消息尺寸下的速度。第二步,按 T_comm ≈ 2 × s × b × h × 2字节 / 实测带宽 算单层前向通信时间,反向同量,乘层数得整模型通信时间。第三步,按 T_comp ≈ 总FLOPs / (卡数 × 单卡实测算力) 算计算时间,单卡实测算力建议取峰值乘以 MFU(大模型训练 GEMM 的 MFU 经验值 45%-55%)。三步下来不需要跑训练就能预判 TP 配置是否合理,和实测的偏差通常在 15% 以内。
三、序列并行:把 LayerNorm 也切开之后
标准 TP 只切矩阵乘,LayerNorm、Dropout、残差加这些逐元素操作在每卡上对完整激活重复计算,显存白白存了 N 份一样的激活。序列并行(Sequence Parallelism)的思路:这些操作不依赖 hidden 维,可以沿序列维 s 切成 N 份,每卡只处理 s/N 的一段,激活显存直接除以 N。
代价是通信原语换形:列切 GEMM 前输入不再是完整 X 而是 X 的一段,需要 AllGather 把各卡的序列段拼全;行切 GEMM 后不再需要每卡都有完整 Z,AllReduce 退化成 ReduceScatter——求和并直接散回各卡的序列段。一进一出,原来一次 AllReduce 变成一次 AllGather 加一次 ReduceScatter。
关键结论写在图注里:AllGather + ReduceScatter 的通信量之和恰好等于一次 AllReduce,总通信字节数不变。序列并行是「免费」拿显存的——这解释了为什么现代框架(Megatron-LM、DeepSpeed)里 TP 和 SP 几乎总是捆绑开启。每层通信次数从 2 次 AllReduce 变成 4 次集合通信(2 AllGather + 2 ReduceScatter),次数翻倍但单次量减半,延迟敏感的小消息场景反而更吃亏,这也是重叠技术必须上的原因之一。
显存侧的收益值得单独算一笔。不开 SP 时,LayerNorm 输入输出、Dropout 掩码这些激活在 TP 组内每卡各存一份完整副本,一个 40 层、h=8192、s=4096 的模型,这部分冗余个数以十 GB 计;开 SP 之后全部除以 N。省下的显存可以直接换成更大的微批或更长的序列,而这两者都会提高算术强度、反过来压低通信占比——SP 的收益是双重的,不只省显存,还间接改善计算通信比。
四、重叠手段一:GEMM 分块与通信流水
把通信藏起来的第一种思路,是利用 AllReduce 内部的结构。ring-AllReduce 本身就是一个流水:每卡的数据被切成 N 块,沿环走 N-1 步,每步只收发一块。既然如此,GEMM 的输出也可以切成对应的块,算完第 k 块就立刻发出第 k 块的通信,同时继续算第 k+1 块——计算和通信在块粒度上交叠。
上图读法:时间从左往右,GEMM 块串行算(共享 SM),通信块在另一个 CUDA stream 上并发推进。理想情况下只有第一块的通信暴露在外,其余全部被后续 GEMM 的计算时间盖住,暴露通信从「整个 AllReduce」降到「一个块的 AllReduce 步」。NCCL 通信走的是 NVLink/网卡加少量 SM 做拷贝,与 GEMM 的张量核资源基本不冲突,这是重叠在硬件上成立的根据。
工程约束有两条。其一,分块数不能太多——每块太小,NCCL 的启动开销和 ring 步进延迟压不住,块数一般取 2-8;其二,GEMM 分块会损失一定的 kernel 效率(小 GEMM 的张量核利用率低于大 GEMM),所以重叠收益 = 省下的通信时间 − GEMM 降速损失,h 小的模型这笔账可能算不平。
落地实现上,Megatron-LM 的 --overlap-grad-reduce 管的是 DP 梯度归约,--overlap-param-gather 管的是 ZeRO/分布式优化器的参数聚合,而 TP 内部的 GEMM-通信流水在 Megatron-Core 里由 TransformerEngine 的 ub_overlap 系列开关控制,按算子粒度可选 qkv_dgrad、proj_fprop、fc1_fprop 等十来个开关位。调参顺序建议:先全开,用 Nsight 看哪些算子的 GEMM 降速超过 5%,把那几个单独关掉——不同层形状的最优组合不一样,不存在一套通吃配置。推理侧则另有讲究:decode 阶段 b×s 很小,GEMM 本身吃不满张量核,通信延迟占比反而比训练更极端,此时分块流水的收益也更大,vLLM、TensorRT-LLM 都默认开启了类似机制。
五、重叠手段二与三:算子交错与层间流水
第二种手段是算子级交错:在 MLP 的行切 GEMM 和 AllReduce 之间没有数据依赖的部分提前启动通信。更进一步的做法(TransformerEngine 的 UB,即 userbuffer 方案)把 AllGather 直接融合进 GEMM kernel:GEMM 一边从远端卡的显存读输入切片一边算,通信彻底消失在 kernel 内部。代价是需要 IPC/userbuffer 显存映射,仅支持单机 NVLink 域内,跨机场景用不了。
第三种手段跳到层间视角:序列并行之后,AllGather 拼输入这件事可以提前到上一层还在算的时候就开始——上一层的 ReduceScatter 每散回一段,就立刻 AllGather 这一段给下一层列切 GEMM 用。层与层之间形成通信-计算流水,等效于把 4 次集合通信两两配对交叠。这一招在反向传播里收益尤其明显:反向的梯度 AllGather/ReduceScatter 与梯度 GEMM 天然存在交错空间,调得好的实现能把反向通信几乎完全藏进反向计算,前向反而成了暴露通信的主要残余地。
三种手段的适用边界对比:
| 手段 | 重叠粒度 | 暴露通信降到 | 主要约束 |
|---|---|---|---|
| GEMM 分块流水 | 单层内 | 1 个块的通信步 | 块数 2-8,GEMM 有降速损失 |
| 算子融合(UB) | kernel 内 | 接近 0 | 仅单机 NVLink 域,需特殊显存映射 |
| 层间通信流水 | 跨层 | 首段延迟 | 依赖 SP 切分,调度实现复杂 |
六、什么时候该收:TP 域的边界
所有重叠手段都有上限,通信量本身不会因为重叠而消失,只是被藏起来。当通信时间超过计算时间,藏是藏不住的——这时该做的不是更激进的重叠,而是缩小 TP 域。
判断信号有三个。其一,实测暴露通信占比稳定超过 30%,且分块流水已经开满;其二,TP 度数被迫跨出 NVLink 域(比如 TP=16 跨两台 8 卡机),AllReduce 走 IB/RoCE 带宽骤降一个量级,重叠收益被延迟吃掉大半;其三,激活显存占比已经不高,SP 的显存收益边际递减。此时的标准动作是把 TP 收到单机 8 卡(或 4 卡)以内,外层用流水并行(PP)和数据并行(DP)接力——PP 只在 stage 边界传激活,通信量比 TP 小两个数量级;DP 的梯度 AllReduce 天然可以和反向计算完全重叠,是最「藏得住」的通信。
一个常被忽视的搭配:MoE 路由 引入的 AlltoAll 通信比 AllReduce 更怕延迟,TP 与专家并行(EP)混布时,通常让 EP 跨机、TP 留在单机内,就是这条边界原则的直接推论。同理,TP 域也不要跨 NUMA 或跨机箱的 PCIe 交换层级随意拼接,通信路径上每多一跳转发,ring 的每步延迟就叠加一份,重叠能掩盖的预算也随之缩水。
常见坑
- TP 度数拍脑袋开 8,模型 h 只有 2048,通信占比 40%,多卡比单卡还慢——先算算术强度再定 TP。
- 只开 TP 不开 SP,激活显存浪费 N 份,还平白多吃 AllReduce 的延迟而不享受 AllGather/ReduceScatter 的可流水性。
- 分块流水的块数开到 16 以上,NCCL 启动开销反超省下的通信时间,重叠后比不重叠更慢。
- 在跨机 TP 域上试图用 UB 算子融合,userbuffer 映射只支持单机,直接初始化失败或静默退化。
- 统计通信占比时把已被重叠盖住的 NCCL kernel 时长也算进去,误判 TP 不划算——只算暴露在关键路径上的部分。
- 用框架默认的通信后端参数跑 NVLink,没开 NCCL 的 P2P/NVLS 优化,实测带宽只有标称一半。
这一篇在知识体系里的位置
- 硬件底座:多 GPU NVLink 互联 与 NVLink 与 PCIe 互联对比 给出单机/跨机带宽与延迟数字,本篇的通信时间估算全部建立在这些物理参数上。
- 单卡机制:CUDA streams 异步重叠 讲 stream 级并发的通用机制,本篇的 GEMM 分块流水就是它在集合通信场景的具体应用。
- 归约原理:并行归约优化 讲单卡内 reduce 的树形结构,ring-AllReduce 是把同样的分治思想搬到多卡拓扑上。
- 并行版图:MoE 路由与专家并行 的 AlltoAll 通信与本篇 AllReduce 重叠共用同一套「藏通信」方法论,两者混布时的 TP/EP 域划分是实战高频决策。
总结
张量并行通信重叠的全部学问围绕一本账展开:每层 2 次 AllReduce、通信量随 h 线性而计算随 h 平方,所以 TP 是否划算先看算术强度;序列并行用 AllGather + ReduceScatter 等价替换 AllReduce,通信量不变却白赚激活显存;重叠三板斧——GEMM 分块流水、单机 UB 算子融合、层间通信流水——能把暴露通信压到首段延迟,但当通信占比稳定超过 30% 或 TP 被迫跨出 NVLink 域时,正解是收缩 TP 域、把外层并行交给 PP 和 DP,而不是更激进的重叠。