B200/GB200 服务架构:NVL72 机架、NVLink 域与双 die 一致性对推理部署的影响
更新时间:2026-10-05。前面 多机推理部署 Ray 讲的是「模型大到单机装不下之后,怎么用 Ray 把多张卡、多台机组织成一个推理集群」,那篇的隐含前提是:机器之间的边界很清楚——机内走 NVLink,跨机走 IB 或 RoCE,通信成本差一个数量级,所以并行策略要刻意「贴边」。Blackwell 平台把这个前提本身改了:GB200 NVL72 把 72 颗 GPU 用铜缆 NVLink 背板连成一个机架级的大 NUMA 域,「单机」的概念从 8 卡膨胀到 72 卡。而单颗 B200 内部又是两个 die 拼出来的,GPU 自己先就是一个小的双路系统。这两层变化叠在一起,决定了在 Blackwell 上做 serving,旧的「TP 贴 8 卡、PP 跨机」口诀要整个重算。本篇就把 B200/GB200 服务架构的三件事讲透:NVL72 机架长什么样、NVLink 域的边界划在哪里、双 die 一致性对推理 kernel 和部署意味着什么。
本文要回答的问题
- B200 与 GB200 是什么关系:superchip、compute tray、NVL72 机架三级结构分别装了什么?
- 第五代 NVLink 与 NVLink Switch 背板怎么把 72 颗 GPU 连成一个全互联域,带宽账怎么算?
- NVL72 的「一个机架一台机器」对张量并行(TP)、专家并行(EP)、KV cache 放置各改变了什么?
- B200 双 die 之间靠什么保持一致性,对推理 kernel 是透明的还是要显式处理?
- 从 H100 HGX 迁移 serving 栈到 GB200,哪些假设会翻车,故障域怎么重新划?
一、从一颗 B200 到一个机架:三级封装结构
先把名词关系理清,因为「B200」「GB200」「NVL72」经常被混着叫。
最底层是 B200 GPU。它最引人注目的特征是:一颗 GPU 里有两个计算 die,用 10 TB/s 的 NV-HBI(NVLink High-Bandwidth Interface,高带宽片间互连)缝在一起,对外表现为一颗拥有统一显存地址空间的 GPU——192GB HBM3e,CUDA 程序看到的就是一个 device,不是两个。双 die 的一致性问题是本篇第四节的主题。
中间层是 GB200 Grace Blackwell superchip(超级芯片):一颗 Grace CPU(72 核 Arm Neoverse V2)加两颗 B200 GPU,用 NVLink-C2C(chip-to-chip)互连,CPU 和 GPU 之间带宽 900 GB/s,是 PCIe Gen5 x16(双向约 128 GB/s)的 7 倍。C2C 链路带硬件一致性,CPU 的 LPDDR5X 内存(约 480GB)和 GPU 的 HBM 在同一个一致性域里——这是「CPU 内存能当 GPU 显存仓库用」的硬件基础,后面 KV cache 一节会用到。
最上层是 GB200 NVL72 机架:18 个 compute tray(每个 tray 装 2 颗 GB200 superchip,即 4 GPU)共 72 颗 B200,加上 9 个 NVLink Switch tray,塞进一个标准机架,整机架功耗约 120 kW,液冷是必选项。18 个 tray 竖插,背后是 NVLink 铜缆背板——不是光纤,不是网线,是几千根直接焊在背板上的铜缆,这也是它叫 NVL(NVLink)72 而不是「72 台服务器」的原因。
上图自上而下就是「机架到 die」的四层套娃。对 serving 部署来说,关键认知是:调度器眼中的「一台机器」到底是哪一层。在 H100 时代答案很明确——一台 HGX 8 卡机;在 NVL72 上答案变成了「一个 72 卡的域」,而这个域内部的通信特性与传统跨机完全不同,这正是第二节的内容。
二、第五代 NVLink:72 卡全互联的带宽账
NVLink 到了第五代,单 GPU 的对外总带宽是 1.8 TB/s(双向),每颗 B200 出 18 条 NVLink,每条 100 GB/s。这个数字单看没感觉,放进对比才有:
| 互连层级 | 技术 | 单 GPU 对外带宽(双向) | 延迟量级 |
|---|---|---|---|
| die 内缝合 | NV-HBI | 10 TB/s | 片内级 |
| CPU 到 GPU | NVLink-C2C | 900 GB/s(superchip 内) | 百纳秒级 |
| 机架内 GPU 到 GPU | NVLink 5 加 NVSwitch | 1.8 TB/s | 微秒级 |
| 跨机架 | IB NDR 或 RoCE | 400 Gb/s 每端口约 100 GB/s | 数微秒到十微秒 |
重点在中间那行的拓扑。H100 HGX 机内 8 卡是 NVSwitch 全互联,跨机就掉到 IB;NVL72 把这个全互联域扩大到了 72 卡:9 个 switch tray 里的 NVLink Switch 芯片构成交换背板,72 颗 GPU 两两之间都是一跳 switch、全程铜缆,任意两颗 GPU 之间都能拿到接近 1.8 TB/s 路径带宽的全互联(all-to-all)能力。
top: "GPU 0 到 GPU 35\n(上半机架 9 个 tray)"
bottom: "GPU 36 到 GPU 71\n(下半机架 9 个 tray)"
spine: "NVLink Switch tray ×9\n背板铜缆 任意两 GPU 一跳"
wan: "机架外:IB 或 RoCE 网络\nConnectX-7 或 CX-8 网卡"
spinenote: "NVLink 域内全互联\n出域立刻掉一个数量级" {style.stroke-dash: 4}
top -> spine
bottom -> spine
spine -> wan
spine -> spinenote: {style.stroke-dash: 3}带宽账再往下算一层。1.8 TB/s 是单 GPU 的对外口径,整个机架 72 卡的双向 NVLink 总带宽是 130 TB/s 量级;而 9 个 switch tray 里的交换芯片合计提供了无阻塞的横截面,意味着「72 卡同时两两通信」这种最极端的 all-to-all 模式也不会因为路径争抢而掉速——这和胖树 IB 网络「阻塞比 2:1 或 4:1」的设计哲学完全不同,IB 省钱靠超额订阅(oversubscription),NVLink 背板花钱买断无阻塞。推理负载里 all-to-all 恰恰是最怕阻塞的模式,MoE 路由的流量矩阵每个 decode step 都在变,任何静态的拓扑优化都跟不上,只有全互联能兜住。
这个图要读出的核心信息是悬崖位置:域内 1.8 TB/s、出域掉到约 100 GB/s 每端口,落差接近 18 倍。NCCL 在 NVL72 上会把整个 NVLink 域识别为一个巨大的 NVSwitch fabric,all-reduce、all-to-all 全部走域内。推理框架看到的现实是:72 卡之内,通信便宜到可以把「通信省着用」的旧直觉扔掉;跨出 72 卡,一切照旧昂贵。并行策略的分界线因此从「8 卡」挪到了「72 卡」,下一节逐条算影响。
三、NVLink 域对推理并行策略的重排
大模型 serving 的并行有三板斧:张量并行(TP,把单层权重切开,每层都要 all-reduce)、流水线并行(PP,按层切段,通信少但气泡多)、专家并行(EP,MoE 模型把专家铺到不同卡上,token 路由靠 all-to-all)。三者的通信敏感度完全不同,NVL72 对它们的利好也完全不同。
TP 上限从 8 提到 72 是一个陷阱。 理论上 NVLink 域扩大意味着 TP 可以开到更大度数,但 TP 每层的 all-reduce 在 decode 阶段处理的是小消息,域再大也压不住逐层同步的延迟开销。实务上 decode 的 TP 度数仍倾向克制(8 到 16),NVL72 真正的红利在别处。
真正的红利是 EP。 MoE 模型的 all-to-all 是大消息、对带宽饥渴,恰好命中 NVLink 域的强项。DeepSeek 类大 MoE 模型(数百个专家)在 H100 上只能把 EP 铺在一个 8 卡域内、跨机靠 IB 硬扛;在 NVL72 上可以把 72 卡整域当 EP 组,每张卡放少数几个专家,token 路由全程 NVLink。NVIDIA 官方在 GB200 NVL72 上演示的 DeepSeek-R1 吞吐相比 H200 机架提升一个数量级,EP 域扩大是第一功臣,其次才是 FP4。
KV cache 多了一层「慢但大」的仓库。 前面说过 Grace 的 LPDDR5X 与 GPU HBM 同处 C2C 一致性域,vLLM、TensorRT-LLM 的 serving 栈可以把被换下的 KV block 卸载到 Grace 内存,900 GB/s 的回读带宽让「前缀缓存命中率」这个指标的天花板被抬高——长上下文、多轮对话场景收益最直接。这是 NVL72 相对「8 卡 HGX 加普通 x86 CPU」的结构性差异,不是单纯堆卡能买到的。
上图是一个典型的 NVL72 推理部署形态:PD 分离(prefill 与 decode 拆成不同实例组,多机推理部署 Ray 讲过这种切分的调度动机)依然成立,但 decode 组的 EP 域铺满 72 卡,两组的冷 KV 都往 Grace 内存里卸。通信原语层面,NCCL allreduce ring 与 tree 讲的 ring/tree 算法在 NVSwitch 域内会被 NCCL 自动替换成针对全互联优化的路径,部署侧一般不用手调,但要知道「为什么 72 卡 all-reduce 没有按 ring 跳数变慢」——因为域内根本没有 ring 拓扑,是交换背板。
四、双 die 一致性:一颗 GPU 里的「小双路」
把镜头从机架缩回单颗 B200。两个 die 各有自己的 HBM 堆栈(合计 192GB)、各自的 L2 cache 切片和各自的 SM 阵列,靠 10 TB/s 的 NV-HBI 缝合。NVIDIA 的设计目标是对软件完全透明:一个 CUDA context、一块统一显存、一次 kernel launch 覆盖全部 SM,程序员不需要知道 die 边界。
透明性靠两件事撑住。第一,硬件一致性:两个 die 的 L2 之间有一致性协议,任一 die 的 SM 访问任一 HBM 地址,硬件自动路由到正确的 die 并把缓存行拉过来,语义上等价于单 die 的内存模型。第二,地址交织:HBM 地址空间在两个 die 的内存控制器之间做细粒度交织(interleave),让访存流量天然均摊,避免「某个热地址段把所有流量压到一个 die 的 NV-HBI 截面上」。
对 serving 的实际含义有三条。其一,推理框架不用改:vLLM、TensorRT-LLM 看到的 B200 就是一颗 192GB 显存的 GPU,TP 切分、KV block 分配逻辑原样工作。其二,性能抖动来源变多了一类:虽然地址交织摊平了平均流量,但某些 kernel 的访存模式如果恰好与交织粒度不对齐,NV-HBI 截面会成为隐性瓶颈——表现是同样的 kernel 在 B200 上的吞吐波动比 H100 大,nsight-compute 里要额外看 die 间流量计数器。其三,容错粒度细化了:双 die 是单点,任一 die 故障整颗 GPU 下线,这一点和 H100 没有本质区别,但叠上 72 卡域的故障域问题(下一节),坏一颗 GPU 的代价被放大了。
还有一个部署侧的细节值得单独说:双 die 让 B200 的显存访问天然带有 NUMA(non-uniform memory access,非一致性内存访问)的味道——SM 访问本 die 的 HBM 比跨 die 快。但 NVIDIA 用地址交织把这个 NUMA 性「洗掉」了:任何连续的数据结构都被打散铺到两个 die 上,平均而言一半流量本地、一半流量跨 die,对任何 kernel 都是同一期望值。这是刻意的取舍:放弃「优化得好可以全本地」的上限,换来「不用优化也不会踩雷」的下限。对推理这种 kernel 组合千变万化、权重布局由框架决定的负载,保下限是正确的工程选择;对愿意手写 kernel 的极限玩家,这意味着 B200 上没有「本地性调优」这一张牌可打。
顺带一提,双 die 不是 Blackwell 独有的终点——数据中心的 chiplet 化趋势里,「多 die 缝合加硬件一致性加软件透明」已经是标准答案,理解 B200 这一课对看后续平台同样有效。
五、迁移清单:从 H100 HGX 到 GB200 哪些假设会翻车
把前面的内容落成一份可执行的迁移检查表。
| 旧假设(H100 HGX 时代) | NVL72 上的现实 | 部署动作 |
|---|---|---|
| TP 域最大 8 卡 | NVLink 域 72 卡 | decode 侧改测 EP,TP 不必硬拉大 |
| EP 跨机靠 IB 硬扛 | EP 铺满整域,all-to-all 不出域 | MoE 专家按 72 卡重排 |
| KV cache 只有 HBM 一层 | Grace LPDDR 是第二级仓库 | 开启 KV 卸载,前缀缓存容量预算重算 |
| 单机故障影响 8 卡 | NVLink 域级事件影响面更大 | 副本和流量切换按域规划 |
| 风冷加每柜 20 到 40kW | 整柜约 120kW 液冷必选 | 机房配电与冷板管路先行 |
| 推理 kernel 在单 die 上跑 | 双 die 一致性透明但有截面效应 | 压测时盯 die 间流量与抖动 |
故障域单独展开一句,因为它是 NVL72 最容易被低估的代价。72 卡共享 NVLink 背板与交换 tray,好处是通信全互联,代价是任何一个 switch tray 的故障、背板链路的降级,影响的不是一台机器而是整个域的服务能力;NVL72 配了机架级的 RAS(reliability、availability、serviceability)机制——链路级重训练、坏 lane 降级继续跑——但容量规划时「一个域挂掉我就损失 72 卡」必须写进副本数。跨域之间仍然走 IB/RoCE 做 PD 分离的流量调度和多副本,老的跨机容灾经验在域间层继续有效。
液冷与配电的账也值得算细一点,因为它直接决定「能不能上」而不是「快不快」。NVL72 整机架约 120 kW,绝大多数数据中心的风冷机柜供电上限在 15 到 40 kW,意味着现有机房不是「换设备」而是「改土建」:冷板液冷的进出水管路、CDU(coolant distribution unit,冷量分配单元)、二次侧水温控制都是新增基础设施。NVIDIA 也提供 NVL36(半机架 36 卡)作为配电条件不够时的降档选项,代价是 NVLink 域同步减半——这再次印证本节的主题:在 Blackwell 平台上,域的大小就是一切规划的基本单位,包括机房工程。
监控口径也要跟着域走。H100 时代盯的是单机 GPU 利用率和 HBM 温度;NVL72 上要新增三类指标:NVLink 链路的重训练计数(链路质量劣化的早期信号)、switch tray 的端口误码率(背板铜缆的健康度)、以及 die 间流量(第四节说的截面效应)。这些指标在 DCGM(Data Center GPU Manager)里都有对应字段,运维平台接入时把它们按「域」聚合而不是按「机」聚合,告警才有意义——单条 NVLink lane 降级在域内是可容忍的,同一 tray 多条链路同时抖动才是事故前兆。
性能预期上也要泼一盆冷水:NVL72 的数量级提升案例几乎都和「大 EP 加 FP4」绑定,稠密小模型、短上下文、低并发场景搬上来并不会自动变快——NVLink 域的钱花在通信上,不通信的负载享受不到。迁移前的基准压测比任何白皮书都重要。
这一篇在知识体系里的位置
本篇是 GPU 平台系列的「系统层」篇,向上承接单卡微架构的内容(如 Hopper 的 TMA 与 wgmma 异步流水——Blackwell 的 tcgen05 在那套描述符加异步的骨架上继续演进),向下落到集群部署实践:直接下游是 多机推理部署 Ray(本篇解释为什么在 NVL72 上 Ray 的 placement group 要以 NVLink 域为单位)和 NCCL allreduce ring 与 tree(本篇讲清 NVSwitch 域内为什么不再走 ring);互连原理的上游词汇在 NVLink 与 PCIe GPU 互连 和 多 GPU NVLink 互联(第五代之前各代 NVLink 的带宽演进)。阅读顺序建议:先读两篇 NVLink 基础建立「带宽悬崖」直觉,再读本篇理解悬崖位置怎么被 NVL72 移动,最后回到 Ray 那篇把域的概念落到调度代码里。
总结
B200/GB200 服务架构的本质是把「一台机器」的边界重划了两次:单颗 B200 内部用 10 TB/s 的 NV-HBI 把双 die 缝成对 CUDA 透明的一致性强单卡,机架级又用第五代 NVLink 和交换背板把 72 颗 GPU 连成 1.8 TB/s 全互联的 NVLink 域——前者让推理框架零改动白拿 192GB 显存,后者让 MoE 专家并行铺满整域、KV cache 多出一层 Grace CPU 内存仓库,同时把故障域、液冷配电和容量规划的口径全部改写;从 H100 HGX 迁移的核心动作只有一句:把并行策略和容灾假设的分界线从 8 卡挪到 72 卡,并用实测压测而不是宣传数字验证自己的负载吃不吃得到这份红利。