NVLink PCIe 互联对比:带宽代际、拓扑与 GPU 间 P2P 访问
装机或者选型多卡服务器时,绕不开一个问题:GPU 之间到底走 PCIe 还是 NVLink,两条路差在哪、差多少。前文 NVLink 多 GPU 互联 从大模型训练的角度讲了为什么要 NVLink 和 NVSwitch,这一篇换一个更「系统结构」的视角:把 PCIe 和 NVLink 当作两条物理与协议都不同的总线来对比,看它们各自的代际带宽、拓扑形态,以及 GPU 与 GPU 之间 P2P(peer-to-peer,对等)访问在软件和硬件上是怎么落地的。PCIe 链路本身怎么训练起来,可以看 PCIe LTSSM 链路训练;本篇假设链路已经建好,只关心建好之后数据怎么走。
本文要回答的问题
- PCIe 各代(3.0 到 6.0)单 lane 和 x16 的实际带宽是多少,编码开销怎么算?
- NVLink 从 1 到 5 代,链路数、单链路速率、单卡聚合带宽各是多少?
- PCIe 的树形拓扑和 NVLink 的点对点/交换拓扑,对 GPU 间通信意味着什么?
- GPU 间 P2P 访问是怎么实现的?load/store 语义和 DMA 拷贝有何区别?
- 什么时候走 PCIe 就够,什么时候必须 NVLink?怎么用
nvidia-smi topo -m看清自己的机器?
一、PCIe 带宽账:从 Gen3 到 Gen6
PCIe 是串行总线,带宽按「每代速率 × lane 数 × 编码效率」算。x16 插槽就是 16 条 lane,每条 lane 是一对发送差分线加一对接收差分线,天然支持全双工。各代的数字如下表(均按 x16、单向峰值列出):
| 世代 | 单 lane 速率 | 编码 | x16 单向带宽 | x16 双向聚合 |
|---|---|---|---|---|
| PCIe 3.0 | 8 GT/s | 128b/130b | 约 15.8 GB/s | 约 31.5 GB/s |
| PCIe 4.0 | 16 GT/s | 128b/130b | 约 31.5 GB/s | 约 63 GB/s |
| PCIe 5.0 | 32 GT/s | 128b/130b | 约 63 GB/s | 约 126 GB/s |
| PCIe 6.0 | 64 GT/s | PAM4 + FLIT | 约 121 GB/s | 约 242 GB/s |
三个容易踩的坑。第一,8 GT/s 是每秒 80 亿次符号传输,Gen3 用 128b/130b 编码,效率约 98.5%,所以单 lane 有效带宽约 0.985 GB/s 而不是 1 GB/s;Gen2 及以前用 8b/10b 编码,效率只有 80%,同样 8 GT/s 的实际带宽要少两成。第二,PCIe 6.0 改用 PAM4(4 电平脉冲幅度调制),一个符号携带 2 比特,所以 64 GT/s 对应 128 Gb/s 原始速率;代价是信噪比变差,引入前向纠错(FEC)和 FLIT(固定长度流量单元)打包,小包传输的协议开销反而比 Gen5 略高。第三,实测有效带宽通常只有理论值的 70%—90%:TLP 包头、ACK/NAK 确认、流控信用更新都要占带宽,一次 DMA 传 4KB 还是传 4MB,效率差很多。
PCIe 6.0 目前(2026 年)刚开始在头部平台规模部署,市面上绝大多数服务器仍在 Gen4/Gen5。也就是说,一张主流数据中心 GPU 通过 PCIe 能拿到卡外带宽,上限就是几十 GB/s 单向这个量级。
上图把「理论带宽到实测带宽」的三级扣减画了出来:符号率先乘编码效率,再扣协议开销,剩下的才是应用能用的。看规格书时记住每一级都要打折,就不会被纸面数字误导。
再补一个常被混淆的单位问题:规格书里的 GT/s(giga transfers per second,每秒符号传输次数)不等于 Gb/s。Gen3 到 Gen5 用 NRZ(不归零编码,一个符号 1 比特),GT/s 数值等于 Gb/s;Gen6 用 PAM4 一个符号 2 比特,64 GT/s 就是 128 Gb/s。而厂商宣传 PCIe 带宽时习惯把 16 条 lane、双向两个方向全加起来说「256 GB/s 级」,读者要自己拆回单向才能和 NVLink 的口径对齐。
还可以算一笔具体的时间账:把 1 GB 数据从主机内存搬进 GPU 显存,PCIe 4.0 x16 按有效带宽约 25 GB/s 估算要约 40 毫秒;如果训练的数据管线每步都要重新送一批数据,这 40 毫秒就直接加在每步时间上。所以工程上会用 pinned memory(页锁定内存,避免驱动先做内部拷贝)加大块异步传输把效率顶到理论值的八成以上,小拷贝、频繁同步则是最差的用法。
二、NVLink 代际:链路数与聚合带宽
NVLink 同样是 SerDes 差分链路,但定位完全不同:它不是外设总线,而是 GPU 之间的对等互联,协议里直接承载内存访问语义。衡量 NVLink 要看三个数:单卡有多少条链路、单链路双向速率多少、合起来单卡聚合带宽多少。
| 世代 | 代表 GPU | 链路数 | 单链路双向 | 单卡双向聚合 |
|---|---|---|---|---|
| NVLink 1 | P100(2016) | 4 | 40 GB/s | 约 160 GB/s |
| NVLink 2 | V100(2017) | 6 | 50 GB/s | 约 300 GB/s |
| NVLink 3 | A100(2020) | 12 | 50 GB/s | 约 600 GB/s |
| NVLink 4 | H100(2022) | 18 | 50 GB/s | 约 900 GB/s |
| NVLink 5 | B200/GB200(2024) | 18 | 100 GB/s | 约 1.8 TB/s |
注意 NVLink 3 到 4 的演进方式:单链路速率没变,靠把链路数从 12 加到 18 提升聚合带宽——SerDes 单通道速率继续往上堆会急剧增加功耗和信号完整性难度,堆链路数是更划算的路径。NVLink 5 才把单链路翻倍到 100 GB/s(每方向 50 GB/s,4 对差分线各 25 GB/s 级)。
和上一节的 PCIe 表对比:NVLink 4 的 900 GB/s 是同期 PCIe 5.0 x16 双向的 7 倍多,NVLink 5 的 1.8 TB/s 比 PCIe 6.0 x16 双向还高 7 倍。更本质的差异不在数字而在用法:PCIe 的 x16 全走一个插槽、一个根端口,NVLink 的 18 条链路可以分给多个邻居或全部接到交换芯片上,天然为多对多通信设计。
这张演进图的读法:2016—2022 年主要靠加链路数,2024 年转向提升单链路速率。两个方向的共同约束是封装基板上的走线资源和功耗——NVLink 走线做在 GPU 封装或载板上,距离只有几厘米,这是它能比走主板插槽的 PCIe 跑得更密更快的物理前提。
NVLink 的协议层也值得一提:它传输的不是 PCIe 那样的 TLP 报文,而是为内存语义优化的数据流,支持原生的读、写、原子操作(atomic),原子操作直接在链路上执行、由对端 GPU 的内存控制器完成,这意味着多卡对同一块显存区域做归约类更新时不需要软件加锁回主机。配合硬件层面的一致性支持(NVLink 2 起在 Power 平台上做过 CPU-GPU 缓存一致,数据中心 x86 平台上则主要是 GPU 之间的一致性窗口),NVLink 越来越接近「把多张 GPU 的显存缝合成一个地址空间」的形态。GB200 NVL72 把这种缝合推到整机柜:72 颗 GPU 通过 9 个 NVSwitch 托盘两两可达,对上层软件呈现为一个巨型 NVLink 域。
物理实现上还有一个细节:NVLink 不走主板的 PCIe 插槽通道。消费级和双卡工作站用 NVLink Bridge(桥接器)把两张卡边缘的金手指对接;数据中心 SXM 形态的 GPU 则把 NVLink 走线做在 HGX 基板上,通过基板连到 NVSwitch 芯片。这也解释了为什么同样是 H100,SXM 版有 900 GB/s NVLink,而 PCIe 插卡版的 NVLink 被砍到更低甚至没有——链路数受封装出针和基板走线资源限制,形态直接决定互联能力上限。
三、拓扑对比:树形 vs 点对点/交换
PCIe 是一棵树:根复合体(Root Complex)在 CPU 一侧,往下经过 PCIe switch(交换芯片)分出若干端口,GPU、网卡、SSD 都是叶节点。树形拓扑的特点是「上行收敛」——所有叶节点共享到根方向的带宽,任意两个叶节点通信必须经过它们的最近公共祖先。
NVLink 没有根,链路两端是平等的 GPU。没有 NVSwitch 时,拓扑由走线决定:两卡直连、四卡全互联、八卡混合立方体网格或环形。加了 NVSwitch,就变成以交换芯片为中心的物理星形、逻辑全互联。
上图的 PCIe 树里,GPU0 到 GPU1 的流量要上行到 switch 再下行;如果 switch 上行端口带宽不足,或者 GPU 和 NIC、NVMe 同时传数据,互相就会抢。树形拓扑对「CPU 分发数据给外设」是高效的,对「外设之间对等交换」天然不友好。
NVLink 一侧的两种形态画在了一起:左边两张卡直连是工作站常见的桥接形态;右边经 NVSwitch 是 HGX/DGX 服务器形态,任意两张卡拿到的带宽和跳数完全一样。拓扑差异落到工程上就是一句话:PCIe 上 GPU 的位置很重要(挂在哪个 switch、哪个 CPU 下),NVLink 全互联域里 GPU 的位置无所谓。
树形拓扑还有一个隐性代价:lane 分配。一颗桌面或工作站 CPU 只有几十条 PCIe lane,插两张 x16 显卡往往就被拆成 x8+x8;服务器 CPU lane 多一些,但 8 张 GPU 加上网卡、NVMe,仍然要靠 PCIe switch 做扇出(fan-out)——switch 芯片内部是无阻塞交换,可上行到根复合体的端口就那么宽,多卡同时和 CPU 内存交换数据时必然收敛。这也是「PCIe 版 8 卡机」便宜的原因之一:它省掉了 NVSwitch,但多卡通信能力也随之缩水。
四、P2P 访问:GPU 怎么直接读对端的显存
拓扑解决「连得上」,P2P 解决「怎么用」。GPU 间 P2P 访问有两种形态:P2P DMA 拷贝(cudaMemcpyPeer)和 P2P load/store(cudaDeviceEnablePeerAccess 之后,kernel 里直接读写对端显存地址)。前者是驱动发起的块搬运,后者是 SM 在访存指令里直接发出对远端显存的读写事务。
硬件前提是统一虚拟寻址(UVA):CUDA 把同一进程里所有 GPU 的显存映射进一个统一的 64 位虚拟地址空间,指针的高比特位编码了目标设备。kernel 执行 load 时,地址译码发现落在 peer GPU 的窗口里,访存请求就被路由到对应的互联端口——走 NVLink 就封装成 NVLink 事务,走 PCIe 就封装成 PCIe 内存读写 TLP,经根复合体或 switch 转发。软件感受是「一个指针到处用」,硬件上则是两套完全不同的转发路径。
P2P 的两个关键数字特征:一是带宽上限由互联决定,NVLink 上 P2P 能跑满链路带宽,PCIe 上 P2P 仍然只有几十 GB/s;二是延迟,load/store 走 NVLink 远端访存延迟约在 1 微秒以内量级,走 PCIe 则更高且波动大,因为要和树上的其他流量排队。所以 load/store 形态的 P2P 基本只在 NVLink 域内实用,PCIe 上更常见的是用 P2P DMA 做大块拷贝,把延迟摊到大量数据上。
还要提一句 GPUDirect 家族:GPUDirect P2P 是 GPU 之间直通,GPUDirect RDMA 是把网卡也拉进 P2P 圈子——NIC 直接 DMA 读写 GPU 显存,跨机流量不再经 CPU 和主机内存中转。思想是同一个:把 CPU 从数据路径上拿掉,它只做控制面的初始化和错误处理。
| 维度 | PCIe P2P | NVLink P2P |
|---|---|---|
| 路径 | 经 Root Complex / switch | GPU 直连或经 NVSwitch |
| 双向带宽 | 约 31—126 GB/s(Gen3—5 x16) | 300 GB/s—1.8 TB/s |
| 远端 load/store | 可用但延迟高、波动大 | 实用,微秒级以内 |
| 适用形态 | 偶发大块 DMA 拷贝 | 高频 kernel 级互访 |
| 与 NIC/SSD 争用 | 有,共享 PCIe 树 | 无,独立链路 |
软件侧的 API 长这样(CUDA C,仅示意关键调用):
int canAccess;
cudaDeviceCanAccessPeer(&canAccess, 0, 1); // 查询0能否访问1
if (canAccess) {
cudaSetDevice(0);
cudaDeviceEnablePeerAccess(1, 0); // 打开0->1的P2P窗口
}
// 形态一:DMA拷贝,驱动搬
cudaMemcpyPeer(dst1, 1, src0, 0, bytes);
// 形态二:kernel里直接解引用对端指针
// kernel<<<...>>>(peerPtr); 其中peerPtr指向GPU1的显存三个注意点。第一,cudaDeviceCanAccessPeer 返回 1 不代表走 NVLink——走 PCIe 树能通也返回 1,带宽天差地别,想知道走哪条路还是得看 topo 矩阵。第二,P2P 窗口是按方向开的,0 访问 1 和 1 访问 0 要各开一次;UVA 下 64 位 Linux 默认地址空间统一,老代码里的非 UVA 判断基本可以丢掉。第三,开了 P2P 的显存分配会占用对端的地址映射资源,极端多卡全互开场景要注意驱动限制。
P2P 与统一内存的关系也值得说清:在开了 P2P 的机器上,cudaMallocManaged 分配的托管内存在被远端 GPU 访问时可以直接走 P2P 路径而不是先迁移页面,带宽和延迟都好得多;没有 P2P 的纯 PCIe 平台上,托管内存跨卡访问会退化为页面迁移,性能可能掉一个数量级。所以统一内存是「能不能写」的编程模型问题,P2P 是「跑多快」的互联问题,两层不要混为一谈。
五、跨 NUMA 与实测:topo 表怎么读
服务器普遍双路 CPU,每张 GPU 物理上挂在某一颗 CPU 的 PCIe 树下,这就是 NUMA(非一致性内存访问)亲和性。GPU 访问「本 socket」的内存和设备路径最短;跨 socket 访问要再走 CPU 之间的 UPI/xGMI 互联,PCIe P2P 落到跨 socket 卡对时路径变成 GPU0 → RC0 → UPI → RC1 → GPU1,带宽腰斩、延迟翻倍都很常见。
判断自己机器的真实拓扑,标准动作是跑 nvidia-smi topo -m,它打印一张 GPU×GPU(含 NIC)的连接矩阵,取值含义:
| 标记 | 含义 | 大致影响 |
|---|---|---|
NV# | 经过第 # 条 NVLink / NVSwitch | 最优,满带宽 |
PIX | 同一 PCIe switch 下 | 较好,单跳 switch |
PXB | 经多个 PCIe bridge、不跨 socket | 中等 |
PHB | 经 PCIe host bridge | 较差 |
SYS | 跨 socket、走 CPU 间互联 | 最差,避免放通信热点 |
工程建议随之清晰:用 CUDA 的 P2P API 前先查 topo;通信频繁的卡对尽量绑在同 socket 甚至同 switch 下;分配 CPU 线程和内存时用 numactl 钉到 GPU 所属的 NUMA 节点;若矩阵里全列 NV#,说明是全互联 NVLink 平台,并行策略可以不考虑卡的位置。另外 nvidia-smi nvlink -s 能看每条链路状态,dcgmi / NVML 接口能持续采集 NVLink 吞吐计数器,排查「带宽是不是打满了」就用它们。
最后给一个快速的选型心智模型。单卡推理、离线渲染、视频转码这类「数据进 GPU、结果出 GPU、卡间几乎不说话」的负载,PCIe 完全够,不必为 NVLink 付钱;小模型微调、多卡推理切分,卡间通信是偶发大块传输,PCIe P2P DMA 或至少同 socket 拓扑就能扛;大模型训练、多卡并行科学计算这种「每个迭代都要 all-reduce 几十 GB」的负载,NVLink 全互联是硬门槛,落到 PCIe 上 GPU 利用率会直接腰斩再腰斩。一句话:按通信频率和单次通信量选链路,按 topo 矩阵验证假设,而不是按卡的价格选。
这一篇在知识体系里的位置
本篇是 NVLink 话题的「系统结构篇」:训练视角的动机和 NVSwitch 全互联看 NVLink 多 GPU 互联,PCIe 链路物理建立过程看 PCIe LTSSM 链路训练,统一地址空间下 CPU 和 GPU 共享指针的编程模型看 CUDA 统一内存,显存一侧的带宽来源看 GPU 显存:HBM 与 GDDR。再往下,SerDes 单通道为什么能跑几十 GT/s,属于高速信号完整性的话题,与本文的「协议与拓扑」层正好互补。
总结
NVLink PCIe 互联的本质差异是「对等网络」对「外设总线」:PCIe 是 CPU 为根的树,Gen5 x16 双向约 126 GB/s 且要与网卡 SSD 争抢;NVLink 是 GPU 直连接口,五代演进把单卡双向带宽从 160 GB/s 推到 1.8 TB/s,配合 NVSwitch 实现任意卡对等带宽;P2P 访问靠 UVA 统一地址把「读对端显存」变成一条访存指令,而跨 NUMA 的 PCIe P2P 路径最长最慢——用 nvidia-smi topo -m 看清拓扑,再决定通信走哪条路,是多卡工程的第一课。