GPUDirect RDMA:推理集群里绕过 CPU 的 GPU 直传
更新时间:2026-10-02。前面 张量并行的通信与重叠 讲过单机多卡之间 AllReduce 为什么吃带宽,当时通信介质默认是机内 NVLink(背景见 NVLink 与 PCIe 互联)。但一旦模型跨出单机——无论是张量并行扩到多机,还是 prefill/decode 分离部署——通信就必须走网络,而传统网络路径里 CPU 和内存拷贝是真正的瓶颈。GPUDirect RDMA 解决的就是这一段:让网卡绕过 CPU 直接读写 GPU 显存,把跨机 GPU 到 GPU 的传输从几十微秒压到几微秒。
本文要回答的问题
- 没有 GPUDirect RDMA 时,一块 GPU 的数据跨机到另一块 GPU 要走多少冤枉路?
- GPUDirect RDMA 的数据路径长什么样,「绕过 CPU」具体绕过了什么?
- RDMA 本身的内核旁路、零拷贝和 GPUDirect 是什么关系,为什么两者要叠加?
- 在 LLM 推理集群里,张量并行、prefill/decode 分离、KV cache 迁移各自怎么用这条路径?
- 落地时拓扑、驱动、地址注册有哪些容易踩的坑?
一、传统路径:一次跨机传输的五次搬运
先看没有 GPUDirect RDMA 时,GPU A(机器 1)的一批数据要到 GPU B(机器 2)会发生什么。这是理解后面所有优化的基准线:
- GPU A → 机器 1 内存:GPU 通过 DMA(Direct Memory Access,直接内存访问,指设备不经过 CPU 核、直接读写内存的机制)把数据拷到 CPU 内存里一块预先分配好的缓冲区,走一遍 PCIe。
- CPU 参与组包:数据到了内存,交给本机 TCP/IP 协议栈,CPU 核要分段、算校验、维护发送窗口,数据在内核缓冲和用户缓冲之间还可能再拷一两次。
- 机器 1 网卡发出:网卡把 CPU 准备好的数据发上网络。
- 机器 2 接收 + 协议栈处理:对端 CPU 收包、重组、确认,数据落在 CPU 内存。
- 机器 2 内存 → GPU B:又一次 PCIe DMA,把数据从内存搬进显存。
一次逻辑上的「GPU 到 GPU」,实际是两次 PCIe 拷贝、多次内存拷贝、两次完整协议栈处理,两端 CPU 全程陪跑。实测这条路径的端到端延迟在几十微秒量级,而且每传输一次要烧掉不少 CPU 核——推理集群里 CPU 本来还要跑调度、tokenize、HTTP 服务,被通信大量占用后整机吞吐直接打折。
更要命的是带宽错配。机内 NVLink 时代单链路就有上百 GB/s,跨机网络 200 Gb/s(约 25 GB/s)甚至 400 Gb/s 的网卡,如果数据还要在 CPU 内存里倒一手,DDR 内存拷贝和 PCIe 往返会先成为天花板,网卡带宽根本喂不满。跨机通信因此长期是分布式训练与推理的头号短板——计算在 GPU 上越来越快,数据却堵在「显存到网卡」的最后一公里。
还有一个隐性成本经常被漏算:抖动。TCP 协议栈的处理延迟不是常数,拥塞控制、软中断调度、内存分配都会带来长尾。对推理这种「每个 token 都要通信」的负载,延迟的第 99 百分位比平均值更影响体验——decode 阶段每步等通信,慢的那几步直接反映成输出卡顿。绕过协议栈不只是为了平均值快,更是为了把长尾砍掉。
上图数出来六次搬运、两端 CPU 都在关键路径上。GPUDirect RDMA 的目标就是把它压成一次直达。
二、GPUDirect RDMA 的数据路径:网卡 DMA 直读显存
GPUDirect RDMA 是 NVIDIA 与网卡厂商(Mellanox/NVIDIA Networking)合作的一套机制,核心一句话:网卡可以像访问 CPU 内存一样,直接对 GPU 显存发起 DMA 读写。数据路径从六次搬运变成:
- 发送方把「显存地址、长度、对端信息」交给网卡(一次 doorbell,门铃寄存器写,CPU 只做这个轻量动作);
- 网卡通过 PCIe 直接 DMA 读 GPU A 显存,按 RDMA 协议封装发出;
- 对端网卡收到后,直接 DMA 写入 GPU B 显存的指定地址;
- 完成后双方各收一个完成事件。
两端 CPU 只在「提交请求」和「收完成通知」时出现,数据本身一次都不进 CPU 内存、不过协议栈、不被任何 CPU 核触碰。端到端延迟降到 2~5 微秒量级,带宽可以跑满网卡线速——跨机通信第一次接近「显存直连」的体验。
这里其实是两项技术叠加,容易混:
- RDMA(Remote Direct Memory Access,远程直接内存访问):本身解决的是「绕过内核协议栈」——网卡自带传输层实现(InfiniBand 或 RoCE,RDMA over Converged Ethernet,跑在以太网上的 RDMA),应用直接下发「读写远端某段内存」的动词(verb),零拷贝、内核旁路。RDMA 只保证直达 CPU 内存。
- GPUDirect RDMA:在 RDMA 基础上再进一步,让「远端某段内存」可以是 GPU 显存。网卡通过 PCIe 标准机制(ATS/PRI 或厂商对等映射)拿到显存物理地址,像访问主机内存一样 DMA。
对比上一节那张图,关键路径上 CPU 内存缓冲区和协议栈整块消失了,这正是「绕过 CPU」的字面含义。实现前提是:GPU、网卡必须在同一个 PCIe 域里且拓扑合理(最好同挂一个 PCIe switch 或 NUMA 节点内),驱动栈需要 NVIDIA 的 nvidia-peermem(或其前身 nv_peer_mem)内核模块把显存暴露给 RDMA 子系统,通信库(NCCL、UCX)在建链时检测能力并自动启用。
还有一层容易忽略的硬件细节:显存要能像内存一样被 DMA,先要把显存区域「注册」给网卡——固定物理页、生成地址转换表项。注册是一次性开销(毫秒级),所以工程上通信缓冲区都是长期复用的池子,绝不每次传输临时注册,否则省下的微秒会被注册开销吃回去。这一节的所有收益数字,都以「缓冲区预注册」为前提。
InfiniBand 和 RoCE 怎么选,也值得说清楚。InfiniBand 是专为 RDMA 设计的网络,交换机和网卡成套,延迟最低、拥塞控制最成熟,但价格贵、生态封闭;RoCE(常用 RoCEv2)把 RDMA 跑在标准以太网和 IP 上,能复用现有数据中心网络,代价是需要精心配置无损以太网(PFC 优先级流控、ECN 显式拥塞通知),配不好就出现丢包重传、性能雪崩。两条路 GPUDirect RDMA 都支持,机制本身不变。近年万卡级推理集群里 RoCEv2 占比快速上升,核心驱动就是成本和运维统一——但前提是有能力把无损网络调明白。
三、为什么推理集群比训练更离不开它
GPUDirect RDMA 在训练集群早已是标配,但推理场景有几个特性让它从「优化项」变成「生死线」。
延迟直接出现在用户面前。训练是吞吐游戏,通信慢一点只是 step 时间长一点;推理的每一次跨机传输都加在 TTFT(time to first token,首 token 延迟)或 token 间延迟上,用户实时感知。张量并行跨机时,每层两次 AllReduce,一个 60 层模型一次前向就是 120 次集合通信——每次省 30 微秒,一个 token 就省出 3~4 毫秒,decode 阶段的体验完全是两个档次。
通信模式更碎。训练的梯度 AllReduce 是大块规则数据;推理的张量并行每层激活只有几 MB,prefill/decode 分离时迁移的 KV cache 则是海量中等块。小而频繁的传输对固定开销(拷贝、系统调用、上下文切换)极敏感,零拷贝和内核旁路的收益被放大。关于张量并行每层为什么躲不开 AllReduce,可对照 张量并行的通信与重叠。
GPU 和 CPU 的角色倒置。推理节点上 CPU 是稀缺资源——调度器、采样逻辑、HTTP/gRPC 服务、continuous batching 的簿记(见 推理引擎运行时调度)全在 CPU 上。传统路径每传一次烧 CPU,等于通信和调度抢资源;GPUDirect RDMA 把 CPU 从数据路径上摘出去,CPU 算力完整留给服务逻辑。
这张图把视角缩到单层:通信是串在两次计算之间的硬等待(除非做通信计算重叠),路径上的每一微秒都会乘以层数、再乘以生成 token 数。
四、三个典型应用场景
场景一:跨机张量并行。当单模型超过 8 卡(如 405B、671B 级模型)必须跨机切分时,TP 组内部的 AllReduce 走 RDMA 网络。NCCL 建链时探测到 GPUDirect RDMA 能力后,跨机段直接显存到显存;工程上通常配 rail-optimized 拓扑(每台机器的多张网卡分别接不同平面,GPU i 走网卡 i),让每对 GPU 都有独立网络通道。注意一个普遍经验:TP 跨机对延迟极敏感,所以很多部署宁愿 TP 限于机内 8 卡走 NVLink、跨机用流水线并行(背景见 流水线并行气泡与调度)——但超大模型或机内互联不足的机型上,TP 跨机加 GPUDirect RDMA 仍是现实选择。
场景二:prefill/decode 分离(PD 分离)的 KV cache 迁移。这是近两年推理架构的主线:prefill 是计算密集型,decode 是带宽密集型(分析见 KV cache 与推理显存 和 GPU 显存层次与带宽),拆到不同节点各自扩缩容。代价是每个请求 prefill 完要把整段 KV cache(动辄数 GB,分页管理见 PagedAttention 与 vLLM)从 prefill 节点搬到 decode 节点。这条搬运如果走 CPU 中转,TTFT 会多出几十毫秒;用 GPUDirect RDMA 按 block table 逐块直推,几百微秒到几毫秒完成,而且对端直接写进显存池里预定好的物理块——分页 KV 的「物理位置任意」特性恰好和 RDMA 的「指定远端地址写入」严丝合缝。
场景三:MoE 模型的专家分发。混合专家模型每层要把 token 路由给不同专家(AllToAll 通信),专家跨机放置时每个 token 的激活都要过网络。GPUDirect RDMA 让 AllToAll 的小消息免去 CPU 中转,DeepSeek-V3 类大 MoE 的推理部署几乎都依赖这条路径。
三个场景共性是:数据本来就在 GPU 显存里、目的地也是 GPU 显存,中间任何形式的 CPU 中转都是纯浪费——GPUDirect RDMA 做的就是把这条浪费一刀切掉。
一个值得知道的边界:GPUDirect RDMA 优化的是「传输路径」,不改变「网络本身」的物理带宽。跨机段的带宽天花板依然是网卡线速,和机内 NVLink 差着数量级。所以架构设计的第一原则仍然是「能不跨机就不跨机」,GPUDirect RDMA 是在「必须跨机」时把损失降到最小,而不是让跨机变得免费。推理调度器现在普遍会把同一 TP 组的请求亲和到同机、把 PD 分离的迁移量纳入准入控制,都是这条原则的延伸。
五、落地工程要点与常见坑
- 拓扑核查是第一步:
nvidia-smi topo -m看 GPU 与网卡的距离,标PIX/PXB(同 PCIe switch)最佳,SYS(跨 NUMA 跨 socket)时 GPUDirect 性能大跌甚至不如走内存。PCIe 代际也要对齐——网卡插在 PCIe 3.0 槽上,400G 网卡照样跑不满。 - 驱动与模块:需要匹配的 NVIDIA 驱动加
nvidia-peermem模块(新版本并入 nvidia.ko),用dma_buf机制的新栈也在普及。NCCL 日志里NET/IB ... GDRDMA字样出现才算真的启用了,否则会静默退化到内存中转路径,性能掉一半还很难察觉。 - 注册缓冲区复用:通信 buffer 池化、预注册,禁止热路径上注册新显存。
- NUMA 绑核:虽然不是 CPU 传数据,doorbell 和完成队列仍在 CPU 上,通信线程绑到网卡所在 NUMA 节点,抖动能小一个量级。
- 与机内互联的分工:机内 NVLink 带宽仍远高于网络(见 多 GPU NVLink 互联),NCCL 会自动做 ring/tree 分层——机内段走 NVLink、跨机段走 GPUDirect RDMA,设计并行切分方案时尽量让通信大头留在机内。
- 可观测性:启用后别忘验证带宽。用
nccl-tests的all_reduce_perf跑一次跨机基准,再对比ib_write_bw这类 RDMA 裸测。如果 NCCL 数字远低于裸网带宽,多半是没走 GDR 路径或拓扑不对;如果裸测就不达标,问题在交换网络或链路协商。分层定位能省掉大量瞎猜时间。 - 安全与隔离:RDMA 注册后的内存区域对网卡开放,多租户场景要按队列对(QP)做隔离,容器环境里确认设备插件没有把整卡 RDMA 能力无差别透传给所有容器。推理集群对外服务时,这条链路的访问控制和 GPU 本身同等重要。
| 维度 | 传统 CPU 中转路径 | GPUDirect RDMA |
|---|---|---|
| 数据路径 | 显存到内存到网卡,多次拷贝 | 网卡 DMA 直读直写显存,零拷贝 |
| CPU 参与 | 协议栈全程处理 | 只下发请求和收完成事件 |
| 端到端延迟 | 几十微秒 | 2~5 微秒 |
| 小消息效率 | 固定开销占比高 | 内核旁路,小消息友好 |
| 典型用户 | 无 GDR 能力的旧集群 | NCCL、UCX、vLLM PD 分离、NIXL |
这一篇在知识体系里的位置
本篇是「推理集群互联」线索的跨机一环:上游是 NVLink 与 PCIe 互联 与 多 GPU NVLink 互联(机内通信介质);同层对照 张量并行的通信与重叠(谁在用这条网络)和 流水线并行气泡与调度(跨机并行的另一种选择);下游延伸是 prefill/decode 分离架构、KV cache 跨机迁移协议(NIXL、Mooncake 类传输层)与 MoE 专家并行的 AllToAll 优化。
总结
GPUDirect RDMA 让网卡直接对 GPU 显存做 DMA 读写,叠加 RDMA 的内核旁路与零拷贝,把跨机 GPU 到 GPU 传输从「六次搬运、CPU 陪跑、几十微秒」压成「一次直达、几微秒」——在 LLM 推理集群里,它是跨机张量并行、prefill/decode 分离 KV 迁移和 MoE 专家分发三件事共同的性能地基。