AG/RS vs AllReduce:什么时候该把 AllReduce 拆成 AllGather 加 ReduceScatter
更新时间:2026-10-07。前面 NCCL AllReduce 的 Ring 与 Tree 讲过 AllReduce 在算法内部本来就是 ReduceScatter 加 AllGather 两拍,张量并行的通信重叠 讲过把通信藏进计算的基本套路。本篇回答的是更工程的问题:既然 AllReduce 内部就是这两拍,什么时候该在代码层面显式把它拆成 AG(AllGather,全收集)加 RS(ReduceScatter,规约散射)两个独立算子,而不是直接调一个 AllReduce?
本文要回答的问题
- AG/RS vs AllReduce 在通信量上有差别吗,还是纯粹是写法不同?
- 拆成两步之后,中间多出来的那段空隙能塞什么、值多少?
- ZeRO、序列并行、张量并行里各自的拆解动机一样吗?
- 什么情况下不该拆,老老实实调 AllReduce 反而更快?
一、先算账:通信量上两者是平手
先把最容易误解的一点钉死:在理想带宽模型下,AllReduce 和 RS+AG 的总通信量完全一样。对 N 卡、每张卡贡献大小为 S 的梯度,Ring AllReduce 每卡发送总量约 2S·(N-1)/N;拆成 RS(每卡发 S·(N-1)/N)加 AG(再发 S·(N-1)/N),加起来同样是 2S·(N-1)/N。NCCL 的 Ring/Tree AllReduce 内部实现就是连续跑这两个相位,中间不停顿。
补一个常被忽略的次级差别:显存占用。整体 AllReduce 要求输入输出各一份全量 buffer;拆成 RS 加 AG 后,如果中间窗口里顺手把数据消费掉(比如 RS 完直接进本地分片的优化器步),峰值显存可以只保留 1/N 分片加一份全量的 transient。对 70B 模型 AdamW 训练,梯度全量一份就是 140GB(BF16),这个差值在显存吃紧的配置里足以决定要不要加 CPU offload。
所以拆分的收益从来不在字节数上,而在两个字:空隙。一个整体 AllReduce 是一次阻塞调用,GPU 在整个通信期间只能干等(或靠 NCCL 的流并行做粗粒度重叠);拆成 RS 和 AG 两个独立 kernel 之后,两步之间出现了一个程序员可控的窗口,可以往里塞计算、塞本地更新、或者干脆改变数据布局。下图对比两种写法的执行时间线。
看图就明白:拆完总通信时长不变,但原来一整段 2T 的纯等待被劈成两段 T,中间空出的窗口只要塞进时长相近的计算,端到端时间就净赚一个 T。这就是 AG/RS vs AllReduce 的全部经济学——拆不是目的,拆出来的缝隙才是。
二、三个经典拆解场景
场景一:ZeRO/FSDP 的分片语义天然是两步。 ZeRO(Zero Redundancy Optimizer,零冗余优化器,把优化器状态/梯度/参数按卡分片)里,梯度归我管的只有 1/N,根本不需要全量梯度——反向时只需 RS 把各自分片梯度规约到手,优化器步只更新本地分片,下次前向前再 AG 把更新后的参数收集回来。这里根本不存在 AllReduce 的位置,写 AllReduce 反而会多传一倍无用数据:AllReduce 的语义是「人人拿到全量结果」,ZeRO 要的是「人人只拿自己那片」。
场景二:张量并行里给通信找计算遮挡。 Megatron 风格的 TP(Tensor Parallelism,张量并行)前向是 GEMM 接 AllReduce 再接 GEMM。把 AllReduce 拆开后,可以在 RS 完成后立即做本地那 1/N 的激活计算(比如接在后面的 LayerNorm 分片、dropout),AG 之前再塞一段不依赖全量数据的小 kernel。对序列并行(Sequence Parallelism)更是结构性拆解:LayerNorm 段天然按序列维分片,进 LayerNorm 前 RS、出 LayerNorm 后 AG,通信和算子边界完全对齐。
场景三:通信与反向计算逐层重叠。 反向传播里各层梯度是逐层就绪的,把第 i 层的 RS 和第 i-1 层的反向 GEMM 并发排进不同 CUDA stream,通信藏在计算后面。整体 AllReduce 必须等所有梯度就绪才能发起,拆解后每层就绪即发车,木桶的最长板从「最后一层梯度加全量通信」变成「最后一层梯度加单层通信」。配合 张量并行通信重叠 里的 stream 排布手法,7B 模型 8 卡 TP 下实测能把通信暴露时间压掉三到五成。DDP(DistributedDataParallel,PyTorch 的数据并行封装)的 gradient bucket 机制本质上就是这个思路的自动版:把梯度按桶打包、桶满即发,用户无感地拿到了逐段重叠。
三个场景串起来看,动机其实是一条线:只要「下一步计算不需要立刻拿到全量规约结果」,AllReduce 的强语义就是过度承诺,把它降级成 RS 加 AG 就能把时间或显存上的差额兑现出来。
三、什么时候别拆
拆解不是免费的。每个集合通信 kernel 有固定启动开销(NCCL 里单次调用约几微秒到十几微秒,小消息下占总时长的比例可观),拆成两个调用就是两份开销。消息小于约 1MB 时,带宽远未打满,固定开销主导,整体 AllReduce 往往更快——尤其 NCCL 对小消息有专门的 LL(Low Latency)协议,拆开后两个算子各自走一遍协议协商,得不偿失。
第二个不该拆的情况是没有东西可塞。如果 RS 和 AG 之间你的代码只能空转(比如紧接着就要用全量结果做下一步 GEMM),拆解纯粹是增加了调度复杂度和 kernel 启动开销。第三个情况是拓扑敏感场景:NVLS(NVLink SHARP,把规约卸载到 NVSwitch 芯片)这类硬件内建 AllReduce 路径在单节点内能把 AllReduce 做得比 RS+AG 两个软件相位更快,详见 NCCL NVLS 组播 AllReduce,H100 NVSwitch 机型上小消息 AllReduce 走 NVLS 基本无敌,拆它反而绕开了硬件捷径。
| 判定维度 | 拆成 AG 加 RS | 整体 AllReduce |
|---|---|---|
| 单条消息大小 | 大于数 MB,带宽主导 | 小于约 1MB,开销主导 |
| 两步之间 | 有可塞的计算或分片语义 | 紧挨着要用全量结果 |
| 数据语义 | 只需 1/N 分片(ZeRO/SP) | 人人要全量 |
| 硬件路径 | 跨节点 IB/RoCE 为主 | 节点内 NVSwitch 加 NVLS |
推理侧也顺带说一句:decode 阶段 TP 的两次 AllReduce 消息只有几十 KB 级,按上表结论属于「别拆」区间;但 prefill 阶段激活大一个数量级以上,部分框架(如 TensorRT-LLM 的 low-latency 插件区分两种 kernel 路径)正是按消息大小在两套实现间切换,思路和本文的拆解判据同源。
四、落地检查清单
决定拆之前过四问:消息够不够大(带宽主导才拆);中间窗口有没有活干(没活干别拆);语义是不是分片的(是则必须拆,AllReduce 反而是错配);重叠后的端到端时间是否实测变短(用 Nsight Systems 看 stream 时间线,别凭感觉)。PyTorch 侧对应 _reduce_scatter_base 和 _all_gather_base 这对原语(FSDP 内部就是它们),配合 async_op=True 拿 work handle 做手工重叠。NCCL 层面没有单独的 AllGather/ReduceScatter 调优开关,但 NCCL_ALGO、NCCL_PROTO 环境变量对两个算子同样生效,跨节点大消息下强制 Ring 加 Simple 协议通常能拿到最稳的带宽;验收时别只看 nccl-tests 的 busbw,把拆解前后的 step time 分布画出来,P50 和 P99 都要改善才算真收益——只改善均值、尾巴变长多半是 stream 间同步点排错了。
这一篇在知识体系里的位置
本篇是分布式通信线的工程决策篇:上游 NCCL AllReduce 的 Ring 与 Tree(AllReduce 内部两相位的算法原理)、NCCL NVLS 组播 AllReduce(硬件捷径);同层 张量并行通信重叠(拆解后缝隙的具体利用手法)。关于 AG/RS vs AllReduce 的选型结论同样适用于推理侧 TP 部署的通信优化。
总结
AG/RS vs AllReduce 的核心不在通信量(两者理想模型下字节数完全相等,AllReduce 内部本来就是 RS 加 AG 两拍),而在拆解后中间出现的可控窗口:消息大到带宽主导、窗口里塞得进计算或本地优化器步、或者 ZeRO/序列并行的分片语义天然只需要 1/N 数据时就该拆;小消息、无缝可塞、节点内有 NVSwitch 加 NVLS 硬件捷径时老老实实用整体 AllReduce 反而更快,拆之前用 Nsight 实测 stream 时间线验证收益。