万卡集群的网络拓扑：Rail-Optimized、胖树与「域」如何决定有效算力
最后更新：2026-09-19｜数据截止 2026 年中：拓扑与组网原理为稳定的工程事实，具体端口数、设备数量随芯片代际和厂商方案变化，本文用结构与量级而非精确配置表述。
本文是产业观察，回答：为什么一万张卡堆在一起，可能只有六七千张的实际产出，网络拓扑在其中起了什么作用。 英伟达 AI 产品矩阵 讲了 NVL72 整柜内的高速互联，国产 AI 芯片与算力管制 指出管制专打「集群互联」；本文是集群网络工程的总纲，讲清楚 Scale-Up/Scale-Out、轨道优化、胖树这些词，以及网络如何决定有效算力（MFU），从而决定交换机和光模块的需求——它是后续光模块、交换机芯片各篇的地基。
先说结论
- 万卡集群不是把一万张卡用网线连起来，而是两层网络的精心组织。 机柜内/邻近的 GPU 走 Scale-Up（纵向扩展，NVLink/NVSwitch 级，极高带宽、低延迟，组成一个「域」）；域与域、机柜与机柜之间走 Scale-Out（横向扩展，InfiniBand 或以太网），规模大、端口多。
- 轨道优化（Rail-Optimized）是当前 AI 集群的主流组网法。 它把每个节点上「同一位置」的高速网卡分别接到彼此独立的多张网络平面（轨道）上，让跨机的集合通信均匀分摊、无阻塞，避免流量挤在一条总线上——代价是要用更多交换机和光模块。
- 无阻塞胖树（Fat-Tree）是主干拓扑：越往上带宽越粗。 为保证任意两卡全速通信，叶脊（leaf-spine）多层胖树需要大量上行链路；一个万卡集群的交换机、光模块数量因此是 GPU 数量的数倍，这正是光模块成为「卖铲」生意的根因。
- 网络质量直接决定 MFU（有效算力）。 同样一万张卡，拓扑收敛比、拥塞、负载均衡、通信库调优不同，集群有效算力可能相差几十个百分点；采购「一万张卡」和得到「一万张卡的训练能力」是两回事。
一句话：AI 集群的核心资产不只是 GPU 数量，而是把这些 GPU 用无阻塞、低延迟、能均衡承载集合通信的网络组织成一个「域」的能力；Scale-Up 决定机柜内的紧耦合，Scale-Out 的轨道优化胖树决定能把多少机柜真正变成一台超级计算机——网络因此从配角变成和芯片同等重要的产能决定因素。
一、先分清两种扩展：Scale-Up 与 Scale-Out
理解一切拓扑的前提，是区分两种把 GPU「变多」的方式。
Scale-Up（纵向扩展）：在一个紧耦合单元内，用超高带宽、低延迟的私有互联（英伟达体系是 NVLink + NVSwitch）把若干 GPU 全互联，让它们在软件看来几乎像「一颗巨大的 GPU」，共享统一内存语义。GB200 NVL72 就是把 72 颗 GPU 做成一个 Scale-Up 域（见 英伟达 AI 产品矩阵）。这一层带宽最高、延迟最低，但规模受机柜、功耗和交换芯片限制。
Scale-Out（横向扩展）：把多个 Scale-Up 域（多台服务器、多个机柜）用数据中心级网络（InfiniBand 或 RoCE 以太网）连起来，规模可达成千上万卡。这一层单链路带宽低于 NVLink、跳数更多，但覆盖面最大，训练时的跨域梯度同步（集合通信，如 all-reduce）主要压在这一层。
这个区分极其重要，因为大模型训练的通信有强烈的层级特征：尽可能多地把通信留在高带宽的 Scale-Up 域内，跨域通信则要靠 Scale-Out 网络高效承载。所谓「域」，就是一组彼此紧耦合、通信代价最低的 GPU；拓扑设计的本质，就是合理划分域，并让域间网络尽量逼近无阻塞。 国产替代最难的恰恰是 Scale-Up 这一层的高速互联和通信库，而不只是单卡（见 国产 AI 芯片实战盘点）。
二、Rail-Optimized：为什么要修好几条「平行铁轨」
AI 服务器通常每张/每组 GPU 配一个高速网卡（NIC，如 InfiniBand HCA 或支持 RoCE 的以太网卡）。早期常见的组网是把一台服务器的多个网卡都接到同一层交换机再上联；而现代大规模 AI 集群普遍采用**轨道优化（Rail-Optimized）**拓扑，核心思想是给每个 GPU 位置修一条独立的「铁轨」。
具体做法：把所有节点上第 1 个网卡接到第 1 张（组）交换平面，所有第 2 个网卡接到第 2 张平面……以此类推，形成若干张彼此独立、只在更高层才交汇的网络平面（rail，轨道）。每张平面只承载「同一位置 GPU」之间的通信，结构规整、易于做无阻塞。
为什么这样做：训练的集合通信（all-reduce/all-gather）发生在所有 GPU 之间。轨道优化让「所有节点的 GPU0」在一张平面内全互联、「所有节点的 GPU1」在另一张平面内全互联，一次集合通信的流量被均匀摊到多个独立平面，避免多网卡流量汇聚到同一上联而拥塞。它的好处是无阻塞、行为可预测、便于大规模扩展和故障隔离；代价很直接——平面越多，交换机和光模块越多，网络成本在集群总投资中的占比显著上升（在大集群中常以数十百分点计）。
三、胖树与无阻塞：越往上，路要越宽
把多张轨道平面连成整个数据中心，主干拓扑最常用胖树（Fat-Tree）及其工程化形态叶脊（leaf-spine）。胖树的直觉是：传统树越往根带宽越窄（像倒挂的树，上层枝条细），而胖树让越靠近上层，链路总带宽越「胖」，从而保证任意两个叶子节点之间都能全速通信（无阻塞，non-blocking）。
- 叶层（leaf/server tier）：直接连服务器网卡。
- 脊层（spine）：把所有叶交换机组成全互联；更大的集群还要再加核心层（super-spine）。
- 收敛比（oversubscription）：服务器总接入带宽与上联带宽之比。1:1 表示严格无阻塞（最费设备），训练集群核心域常追求接近 1:1；放宽收敛比能省钱但会在通信高峰造成拥塞、拉低 MFU。
| 拓扑 | 特点 | 适用 |
|---|---|---|
| 胖树/叶脊（无阻塞） | 易理解、路径多、可做 1:1 | AI 训练集群主流 |
| Dragonfly（蜻蜓） | 减少高层跳数和光缆用量、成本优 | 超大通用 HPC，调优更复杂 |
| 轨道优化胖树 | 多平面规整、集合通信高效 | 当前大模型训练事实标准 |
工程上还有一条常被忽视的代价：光缆。 大规模三层胖树在 super-spine 层需要大量跨机柜甚至跨机房的长距光连接，布线、光模块功耗和成本随规模非线性上升。Dragonfly 等拓扑之所以仍有吸引力，就是因为能用更少的高层光缆近似达到高带宽——这也是网络方案商竞争的差异点之一。
四、一个万卡集群要多少网络设备
不纠结具体型号，用量级理解需求强度：一张 GPU 要配高速网卡，网卡上联要交换机端口，无阻塞胖树还要在脊层、核心层配置成倍的上行端口，每个端口的两端各需一个光模块（或短距用铜缆）。因此：
- 交换机数量随轨道平面数、端口速率和收敛比放大，一个万卡集群需要的交换机以「数百到上千台」量级计；
- 光模块数量通常是 GPU 数量的 1~数倍（取决于双向链路、层数和速率，800G/1.6T 高速率模块价值量更高），这直接决定了同批光模块篇所说的「最确定的卖铲生意」；
- 速率代际（400G→800G→1.6T）随单 GPU 通信需求和 Scale-Up 域扩大而快速上移。
值得点出介质的选择：并非所有高速连接都用光。 在机柜内、相邻机柜这类短距离上，铜缆（DAC 直连铜缆、有源铜缆 AEC 等）因成本低、功耗小、无需光电转换而大量回潮，Scale-Up 域内和 ToR 短跳多用铜；只有当距离和速率超出铜的能力（功耗、信号衰减、线缆粗重）后，才切换到光模块。因此一个真实万卡集群是「铜在内、光在外」的混合体——铜负责机柜尺度的高性价比短连，光负责跨机柜、跨机房的长距高速。这个分界随速率提升而移动：800G/1.6T 下铜的可达距离缩短，部分原来用铜的链路被迫转光，进一步放大光模块需求（铜回潮与光模块的边界，见同批 D3、D6）。
从成本视角看，网络在 AI 集群总投资中的占比远高于传统数据中心。传统通用集群的计算与网络比通常以计算为主，而万卡训练为逼近无阻塞，交换机、网卡、光模块、光铜线缆的合计占比可达集群投资的相当比例，且越追求低收敛比、越用上高速率模块，网络投资越重。这意味着「万卡集群多少钱」的答案里，GPU 之外的网络是不可忽略的大块，也是云厂商自研交换、力推开用以太网、推动光模块降价的直接动机。
关键判断：Scale-Up 域越大（如 NVL72 把 72 卡封进一个域），域内通信越被 NVLink 吸收，但跨域的 Scale-Out 端口速率和东西向流量也越高。 所以整柜化没有减少高速网络需求，而是把需求向更高速率的光模块和更大规模的脊层集中——网络设备投资随 AI 集群规模与单卡带宽双增长。
4.1 集合通信如何压在拓扑上
网络拓扑之所以重要，是因为大模型训练不是各算各的，而要反复做全局同步。数据并行下，每张卡算完一个批次的梯度后，要通过 all-reduce（把各卡梯度求和并广播回每张卡）保持模型一致；张量并行、流水并行则产生大量 all-gather、reduce-scatter 和点对点通信。一次训练步里，计算和通信往往交织，通信一旦慢，昂贵的 GPU 就空等，这正是网络直接拉低 MFU 的微观机制。
拓扑设计的目标，就是让这些集合通信的数据流「走最短、最不堵的路」：
- 把通信量最大的并行组（如张量并行）放进同一个高带宽 Scale-Up 域；
- 用轨道平面让 all-reduce 的多份流量在多张独立网络上同时传输，避免争抢；
- 用无阻塞胖树保证跨域流量在脊层不收敛；
- 通信库（英伟达体系的 NCCL）要感知拓扑，自动选择环、树或分层算法，把 NVLink 域和轨道平面都利用起来。
换句话说，买同样的 GPU 和交换机，拓扑与通信库调得好不好，all-reduce 的耗时可能差出一大截，最终体现为有效算力差距。这也是为什么超大规模厂商愿意养专门的网络与通信优化团队——这部分软实力无法靠采购硬件直接获得。
4.2 万卡集群的另一半：故障、调度与在线率
单卡视角看不到的是，规模本身会成为敌人。当集群有上万张卡、数千台交换机、数万条光链路时，故障从「例外」变成「常态」：每天都可能有 GPU、光模块、链路或节点失效，训练作业连续运行数周，必须能在部件失效时快速检测、隔离并从检查点恢复，而不是整体重启。
由此衍生出一组与拓扑同等重要的能力：
- 故障域划分：轨道平面和胖树层级天然提供了故障隔离边界，单点失效不应波及其余平面；
- 网络遥测与拥塞控制：实时发现慢链路、非对称带宽和拥塞热点，避免「一条慢链路拖垮整个作业」的长尾效应；
- 作业调度与拓扑感知：把任务尽量调度到同一 Scale-Up 域或相邻机柜，减少跨域跳数，并在资源碎片中维持高利用率；
- 可靠传输与重路由：大规模 RoCE 网络尤其依赖拥塞控制和自适应路由来逼近 InfiniBand 的稳定性。
所以衡量一个万卡集群，真正的指标不是标称 GPU 数，而是有效算力 = 标称算力 × MFU × 在线率。网络拓扑同时影响后两项——它既决定通信效率（MFU），又决定故障隔离和恢复能力（在线率）。这也是为什么顶级玩家把网络工程视为与芯片同级的核心竞争力。
五、网络如何决定有效算力：MFU 的差距
堆一万张卡不等于得到一万张卡的训练能力。工程上用 MFU（Model FLOPs Utilization，模型算力利用率） 衡量集群的「有效产出」：实际训练吞吐折算的算力，占所有 GPU 理论峰值总算力的比例。网络是影响大集群 MFU 的关键变量之一：
- 收敛比/拥塞：上联带宽不足时，all-reduce 阶段大量 GPU 等待通信，计算单元空转，MFU 下降。
- 负载均衡与长尾：轨道平面若出现不均衡或个别慢链路，整体被最慢者拖垮（长尾效应）。
- 拓扑与通信库匹配：集合通信算法（环、树、分层）要和 Scale-Up 域、轨道平面、胖树层级对齐，调优不当会浪费高带宽硬件。
- 故障与重路由：万卡规模下故障是常态，网络的容错、重路由和作业调度决定有效在线率。
这解释了为什么「买到顶级卡」只是第一步：同样的 GPU，配不同的网络与调优，万卡集群的有效算力可能相差几十个百分点。 出口管制之所以紧盯互联带宽（见 国产 AI 芯片与算力管制），也正因如此——削掉高速 Scale-Up/Scale-Out，单卡峰值虽在，万卡训练的 MFU 却被结构性拉低。
六、制式之争与「去英伟达化」的网络战场
拓扑之上还有制式选择：英伟达体系用 InfiniBand（IB，专为 HPC 设计的低延迟无损网络）+ MagnumIO 软件栈实现端到端最优；开放阵营则推动在以太网上跑 RDMA（RoCE，以太网上的远程直接内存访问），并由 UEC（Ultra Ethernet Consortium，超以太网联盟） 制定「AI 原生以太网」标准，配合博通等的交换芯片，目标是在 Scale-Out 层提供开放、多供应商、性能可比的替代（同批 D2 专文）。
对产业的含义：
- Scale-Up 仍是英伟达最深的网络护城河（NVLink/NVSwitch + 整柜），短期最难复制；
- Scale-Out 是开放阵营最可能先突破的层——以太网体量大、供应商多、云厂商自研交换芯片意愿强；
- 拓扑（轨道优化胖树）本身是公开的工程方法，不被谁垄断，真正的壁垒在高速 SerDes、交换芯片、拥塞控制软件和大规模调优经验。
这给国产与开放路线一个现实切口：即便短期做不出 NVLink 级 Scale-Up，也可先把 Scale-Out 以太网域做大、把单域规模和 MFU 打磨好，逐步上攻。
七、变量与置信度判断
- 未来 1~2 年（高置信度）：轨道优化 + 无阻塞胖树继续是大模型训练集群事实标准，Scale-Up 域随整柜扩大；800G 光模块与高速交换成为标配，网络投资占比维持高位。
- 未来 2~4 年（中高置信度）：AI 原生以太网（UEC）与博通系交换在新建超大集群中拿到更多 Scale-Out 份额，与 InfiniBand 长期并存；Scale-Up 互联仍是英伟达领先、追赶者攻坚。
- 未来 3~6 年（中置信度）：国产集群在以太网 Scale-Out 与自研互联上持续进步，单域规模和万卡 MFU 提升；能否逼近顶级有效算力，取决于高速互联芯片、通信库和大规模运维协同。
- 长期 / 低置信度：网络是否随模型/并行范式（如更松耦合、混合专家 MoE）变化而改变最优拓扑，取决于算法侧演进。
八、对不同角色，这意味着什么
- 对集群建设者/云厂商：招标不能只比 GPU 单价，要按整集群 MFU、网络收敛比、光模块/交换机 BOM、故障率和运维能力综合评估，并为带宽代际升级预留机房。
- 对芯片厂商：Scale-Up 互联和通信库是和单卡同等重要的产品力，国产替代必须把「域」做大做优，而非只提升单芯片。
- 对网络设备/光模块厂商：AI 集群的轨道平面与胖树上联带来确定性的高速端口需求，是高景气卖铲环节（详见同批光模块、交换机篇）。
- 对模型团队：理解拓扑能指导并行策略（把通信留在 Scale-Up 域内），直接影响训练成本与稳定性。
结语：决定一万张卡能否成为一台机器的，是网络
万卡集群的真相是：GPU 决定算力的「理论上限」，网络决定这些算力有多少能真正用于训练。Scale-Up 用 NVLink 类互联把一个机柜内的 GPU 变成紧耦合的「域」，Scale-Out 用轨道优化的无阻塞胖树把成百上千个域拼成一台超级计算机；为追求接近 1:1 的无阻塞，集群要配置数倍于 GPU 数量的交换机和光模块，催生了最确定的卖铲生意。而收敛比、拥塞和通信库调优最终落到 MFU 上——同样一万张卡，有效产出可能天差地别。看清这一层，就能同时看懂三件事：管制为什么专打高速互联、英伟达的护城河为什么在整柜与网络、以及开放阵营和国产路线为什么选择从 Scale-Out 以太网这个最可能松动的地方上攻。
数据口径与延伸
- 数据口径：Scale-Up/Scale-Out、Rail-Optimized、Fat-Tree/叶脊、Dragonfly、收敛比、MFU、InfiniBand 与 RoCE/UEC 的区别，均为稳定的网络工程原理与公开标准事实。本文不给特定集群的精确端口/设备配置（随 GPU 代际、网卡速率、轨道数和厂商方案变化），统一用结构与量级表述。数据截止 2026 年中。
- 相关产业观察：英伟达 AI 产品矩阵（NVL72 与 Scale-Up）、国产 AI 芯片与算力管制（管制专打互联）、国产 AI 芯片实战盘点（互联短板）、HBM 与先进封装。
- 同批待写延伸：InfiniBand vs 以太网/UEC（D2）、800G/1.6T 光模块（D3）、CPO（D4）、交换机芯片（D5）、铜缆回潮（D6）。
一句话总结：万卡集群由两层网络构成——机柜内 NVLink 级 Scale-Up 把 GPU 全互联成一个紧耦合「域」，Scale-Out 用 InfiniBand 或以太网把成百上千个域连起来，当前主流是轨道优化的无阻塞胖树，即给每个 GPU 位置一条独立交换平面、并让越往上层带宽越粗；为逼近 1:1 无阻塞，集群要配置数百到上千台交换机和 1 到数倍于 GPU 数量的高速光模块，使网络成为高景气卖铲环节，而收敛比、拥塞、轨道均衡和通信库调优最终决定 MFU——同样一万张卡有效算力可相差数十个百分点，这既解释了管制为何专砍高速互联、英伟达护城河为何在整柜网络，也指明开放阵营与国产路线最现实的突破口是把 Scale-Out 以太网域做大做优，再逐步上攻最难的 Scale-Up。