张量并行通信域:TP 组内 NVLink 拓扑感知划分、allreduce 流量模型与跨节点带宽悬崖
更新时间:2026-10-06。张量并行(Tensor Parallelism,TP)把单层算子的权重矩阵切开、让多张卡各算一段再合并结果,是大模型推理最常用的一层并行。它的脾气也很分明:极度能吃带宽、延迟极度敏感——每个 transformer 层有两次 allreduce,一次前向就是几十次集合通信。这意味着 TP 组怎么划(哪些卡进同一个通信域)直接决定性能,划好了 allreduce 全程跑在 NVLink 上,划错了每一步都要爬网线。本文接着 张量并行通信重叠 和 NCCL allreduce ring 与 tree 的底层讨论,回答一个更靠近部署的问题:TP 通信域应该怎么贴着 NVLink 拓扑划。
本文要回答的问题
- TP 的 allreduce 流量有多大,为什么它只能在高带宽域内生存?
- NVLink/NVSwitch 域内的拓扑感知划分具体在做什么,和不感知拓扑差多少?
- 跨节点 TP 的「带宽悬崖」到底多陡,什么条件下可以例外?
- TP 度数(TP size)和流水线并行 PP 怎么搭配,选型的定量规则是什么?
一、TP 的 allreduce 流量模型:先算清楚每一步要搬多少字节
TP 把每一层的两个大矩阵乘(attention 的 QKV 与输出投影、MLP 的两个线性层)沿列或行切到 TP size 张卡上。列切之后接行切,中间结果是「每张卡各持有一份部分和」,必须做一次 allreduce 才能进入下一个算子。所以每层两次 allreduce,一次前向的集合通信次数 = 2 × 层数。
单次 allreduce 的消息大小 = batch 内 token 数 × hidden size × 字节数。以 70B 级模型(hidden 8192,FP16)、decode 一步 256 个 token 为例:单次 allreduce 的消息是 256 × 8192 × 2 ≈ 4 MB。ring allreduce 每张卡的实际收发量约 2 × (n-1)/n × 消息大小,TP=8 时约 7 MB,双向合计每步每层每张卡搬十几 MB——乘上 80 层、乘上每秒几十步的 decode 频率,每张卡的 TP 通信带宽需求是每秒几十 GB 量级。
这个数字放在互连谱系上看就一目了然:单节点 NVLink 4/5 单向 100 到 450 GB/s,轻松吃下;100 到 400 Gb/s 的 InfiniBand 或 RoCE 折算下来只有 12 到 50 GB/s,还要和 PP、存储流量共享——TP 流量一旦跨节点,带宽缺口是一到两个数量级,这就是「带宽悬崖」的定量来源。
流量模型还有两个修正项,做容量规划时必须加进去。其一是allreduce 算法因子:ring 算法的每卡流量是 2 × (n-1)/n × 消息大小,tree 算法延迟更低但每卡流量类似;新一代的 NVLS(NVLink SHARP 多播)能把域内 allreduce 的流量再砍近一半,见 NCCL NVLS 多播 allreduce——同一个 TP 组,开不开 NVLS,等效带宽需求差近一倍。其二是消息大小的下限效应:allreduce 有小消息的固定启动开销(延迟项),消息小于几百 KB 时耗时由延迟而非带宽主导,此时公式算出来的「带宽需求」会失真,要改用「单次 allreduce 固定开销 × 层数 × 步频」估算。这就是为什么小 batch decode 下 TP 的瓶颈常常是延迟而不是带宽。
上图把流量模型的推导链条画出来了。读这张图时记住一个推论:TP 通信量与 TP size 几乎无关(消息大小不变,ring 因子 (n-1)/n 趋近 1),但与 token 吞吐严格成正比——batch 越大、上下文越长,TP 对带宽的胃口越大。所以「这批卡跑不跑得动 TP=8」的答案随负载变化,不是一次性结论。
二、拓扑感知划分:让 TP 组完整落在 NVLink 域内
现代 GPU 服务器的 NVLink 拓扑不是一个全连通大池子,而是有明确边界的「域」。H100 HGX 节点内 8 卡经 NVSwitch 全互联,任意两卡之间都是满带宽;DGX GB200 NVL72 则把一个 NVSwitch 域扩到 72 卡(B200 与 GB200 服务化架构 有这个拓扑的完整拆解)。域内是 NVLink 带宽,跨域立刻掉到网络带宽。拓扑感知划分要做的事情只有一件:把每个 TP 组的成员卡全部圈在同一个 NVLink 域内,且尽量圈在域内带宽最肥的子结构里。
具体动作分三步。第一步,发现拓扑:用 nvidia-smi topo -m 或 NCCL 的拓扑探测(见 NCCL 拓扑探测与调优)拿到卡间链路矩阵——哪些卡对是 NVLink 直连、哪些走 NVSwitch、哪些要过 PCIe 或网络。第二步,按域聚类:把同一个 NVSwitch 域的卡聚成一个资源池,TP 组只从单个池子里取成员,绝不跨池。第三步,组内排序:rank 的编号顺序按物理邻近性排,让 ring allreduce 的相邻 hop 都落在最短链路上。
不感知拓扑的代价有多大?随机划组时,TP=8 的组若有两张卡落在域外,这两张卡参与的所有 allreduce hop 都退到网络带宽,整个组的 allreduce 延迟由最慢 hop 决定——集合通信是齐步走的,一张慢卡拖死全组。实测中这种错配能让 TP allreduce 延迟恶化 5 到 10 倍。
还有一种更隐蔽的半错配:组成员都在域内,但 rank 编号顺序和物理位置乱序。ring allreduce 按 rank 号连成环,乱序意味着环上某些 hop 要走域内的绕远路径(穿多层 NVSwitch 或借道 PCIe),带宽不至于悬崖但延迟稳定变差一到两成。这种错配不会在功能上出错,只会表现为「通信占比怎么都压不进 10%」,排查时对照 rank-物理位置映射表一眼就能定位。
上图用双 TP 组的例子画出正确与错误的划分。还有一个更细的点:当 TP size 小于域内卡数时(比如域内 8 卡、TP=4),同一节点装两个 TP 组比跨节点装两组更优,因为这同时让 PP 的跨节点跳数减半——并行策略的域划分要 TP、PP 一起看,不能只优化 TP 一边。
拓扑感知划分落地时有两个工程接口要对接。一是与容器编排的对接:Kubernetes 的 GPU 调度默认按卡数分配,不保证分到的 8 张卡在同一个 NVLink 域——要用拓扑感知的 device plugin 或调度器扩展,把「整域分配」写进调度约束,否则扩缩容一次就可能把 TP 组打散到两个域。二是与 NCCL 运行时的对接:进程启动后 NCCL 会自己探测拓扑并选 ring/tree/NVLS 算法,探测结果可以通过 NCCL_TOPO_DUMP 导出核对——部署验收的标准动作就是把导出的拓扑和物理拓扑对一遍,不一致说明有链路降级(NVLink 重训失败、线缆松动),此时 NCCL 会悄悄退到低速路径,性能损失 30% 起步还没有报错。
三、带宽悬崖的定量边界:什么时候跨节点 TP 可以例外
「TP 绝不跨节点」是经验法则,但法则有定量边界,例外存在于两种情况。
第一种例外:NVLink 域本身就跨节点。GB200 NVL72 用 NVLink 交换托盘把 72 卡织成一个域,「节点」的概念被重新定义了——在这个平台上 TP=16、TP=36 都还在 NVLink 带宽上,悬崖被推到了 72 卡之外。平台选型时,「单域能装多大的 TP」是一个硬指标,直接决定能高效服务多大的模型。
第二种例外:消息足够小、延迟足够不敏感的离线负载。如果 allreduce 消息只有几百 KB(小 batch decode),即使走 200 Gb 网络,单次 allreduce 也就几十微秒,对离线吞吐任务可以容忍。判断方法是用第一节的流量模型算单步通信时间,再和单步计算时间比:通信占比低于 10% 时跨节点 TP 的代价可接受。但要警惕这个判断对 batch 敏感——流量一涨通信占比就破线,容量规划要留余量。
悬崖还有第三个维度常被忽略:通信能否被计算盖住。如果引擎做了通信-计算重叠(把 allreduce 拆块和下一个算子的计算流水起来,见 张量并行通信重叠),悬崖的「表观坡度」会变缓——但只要通信时间超过计算时间,重叠也救不回来,重叠只是把悬崖的位置后移。
| 场景 | 互连 | 单跳带宽 | 4 MB allreduce 单步耗时 | 能否跑在线 TP |
|---|---|---|---|---|
| HGX H100 节点内 | NVLink 4 加 NVSwitch | 双向 900 GB/s | 约 10 微秒 | 轻松 |
| NVL72 域内 | NVLink 5 交换托盘 | 双向 1.8 TB/s | 约 5 微秒 | 轻松 |
| 跨节点 IB NDR | 400 Gb 网络 | 50 GB/s | 约 160 微秒 | 临界 仅小消息 |
| 跨节点 RoCE 100G | 100 Gb 网络 | 12 GB/s | 约 650 微秒 | 不能 |
这张表是悬崖的定量形态:从节点内到 100G 网络,单步 allreduce 差两个数量级,而 decode 一步的 ITL 预算通常只有几十毫秒、80 层要摊 160 次通信——100G 网络上光通信就吃掉 100 毫秒以上,TTFT 和 ITL 双双破防。
表里还有一行隐含信息值得点破:网络带宽是要排队的。NVLink 域内带宽基本独占给 GPU 间通信,而跨节点网络上同时跑着 PP 激活传输、参数加载、checkpoint、存储读写甚至管理流量。allreduce 是延迟敏感的同步流量,和带宽饥渴的异步流量混跑时,实际拿到的有效带宽常常只有标称的一半。生产上做跨节点 TP 例外评估时,要用「拥塞态实测带宽」而不是「空载标称带宽」代入流量模型,这也是通信域评估必须和 服务容量规划 共享同一份网络基线数据的原因。
四、TP 度数与 PP 的搭配规则
TP size 的选择是一场三角权衡:切得越细,单卡权重和 KV 压力越小,但通信次数不变、每次通信的参与方变多、对齐和同步开销占比上升;切得粗则单卡显存可能装不下。搭配上 PP(流水线并行,见 流水线并行气泡调度)后,经验规则可以压缩成三条:
规则一:TP 先占满 NVLink 域,剩下的交给 PP。 单节点 8 卡域上,TP=8 是天然上限;模型装不下就加 PP 跨节点,而不是把 TP 撑到 16 跨域。PP 的通信量(只传层间激活)比 TP 小两个数量级,天生适合跨节点。这个「TP 域内、PP 跨域」的分工是 多 GPU NVLink 互联 和 NVLink 与 PCIe GPU 互联 两篇的落脚点。
规则二:decode 为主的在线服务,TP 取「能装下的最小值」。 TP 越大每步通信参与方越多、同步尾巴越长,ITL 抖动越大。能 TP=4 装下就不要 TP=8,多出来的卡多开副本做请求级并行,副本间零通信,吞吐反而更高。
规则三:prefill 重的大 batch 场景,TP 可以取更大值。 prefill 是计算密集,allreduce 消息大但单次前向的计算时间也长,通信占比低;此时大 TP 换来的显存空间(更大 batch、更长上下文)收益超过通信代价。PD 分离架构下 prefill 池和 decode 池因此可以采用两套不同的 TP 度数——prefill 池 TP 大一些换显存,decode 池 TP 小一些换低抖动,这在 chunked prefill 与 PD 分离 的部署模式里是常见配置。
上图把三条规则收敛成一个可执行流程,底部那条验收线是全篇的落点:通信时间除以计算时间小于 10%。这个比值用 NCCL 的 profiling 加引擎的 step time 就能量出来,比任何理论公式都可靠。量出来超线,按流程图回退:先查拓扑划分是否贴域,再降 TP 度数,最后才考虑加卡或换平台。MoE 模型的专家并行还有一套类似的域划分逻辑,见 MoE 服务化专家并行,两者的拓扑原则完全相通。
给一套拿来即用的测量方法,三十分钟内能出结论。第一步,用 nccl-tests 的 all_reduce_perf 在目标 TP 组内扫消息大小(从 256 KB 到 64 MB),拿到实测带宽曲线和延迟截距——这一步同时验证了拓扑划分的正确性,带宽显著低于平台标称值(比如 H100 节点内 allreduce 带宽不到 300 GB/s)几乎可以断定划分或链路有问题。第二步,在生产引擎里打开 NVTX 或引擎自带的通信计时,跑一次代表性负载,把通信段时长除以 step 时长得到通信占比。第三步,按负载曲线外推:把 batch、上下文长度推到容量规划的目标点,用第一节的模型重算通信时间,确认占比仍低于 10%。三个步骤分别对应「拓扑对不对」「现在好不好」「将来够不够」,缺任何一步,上线后都要补课。
这一篇在知识体系里的位置
本篇属于并行策略专题的部署层:底层机制在 NCCL allreduce ring 与 tree、NCCL NVLS 多播 allreduce 和 NCCL 拓扑探测与调优;同层的优化手段在 张量并行通信重叠;上游的硬件拓扑背景在 多 GPU NVLink 互联 和 B200 与 GB200 服务化架构;下游的整体部署决策在 服务容量规划。
总结
张量并行每个 transformer 层做两次 allreduce,每张卡的通信带宽需求是每秒几十 GB 量级,这决定了 TP 组必须完整落在 NVLink/NVSwitch 域内——拓扑感知划分就是用链路矩阵把 TP 组圈进单域、rank 按物理邻近排序;跨节点 TP 会撞上一到两个数量级的带宽悬崖,只有「平台本身把 NVLink 域扩到跨节点」或「小消息离线负载且通信占比低于一成」两种例外;TP 度数的选型规则是域内优先、在线 decode 取最小可行值、大 batch prefill 可放宽,最终统一用「单步通信时间除以单步计算时间小于 10%」这条验收线把关。