锁页内存传输:pinned memory 为什么比 pageable 快两倍、代价是什么
更新时间:2026-09-30。GPU 程序的第一性能瓶颈往往不在 kernel 里,而在「数据怎么进 GPU」。同样一块 256MB 的数据,用
malloc分配的普通内存做 H2D(Host to Device,主机到设备)拷贝可能只跑到 6 GB/s,换成cudaMallocHost分配的锁页内存(pinned memory,也叫页锁定内存)就能吃满 PCIe 的 12 GB/s 以上。本篇是 CUDA 流与异步拷贝 的前置知识——异步拷贝只有在锁页内存上才是真异步;也和 GPU 存储层次与带宽 互为补充:那一篇讲 GPU 侧,这一篇讲 PCIe 这道门的两侧。
本文要回答的问题
- 同样是主机内存,pinned 和 pageable 的 H2D 拷贝路径差在哪,为什么带宽差一倍?
- 锁页内存的「锁」锁的是什么,对操作系统有什么影响?
- 分配锁页内存的代价有多大,什么场景值得用、什么场景反而是负担?
- 想用
cudaMemcpyAsync做传输与计算重叠,对内存有什么硬性要求?
一、两种主机内存:pageable 与 pinned
操作系统里的普通内存是可分页的(pageable):内核可以在内存紧张时把它换出到 swap,也可以在物理页之间搬移它,用户看到的虚拟地址不变,背后的物理页却可能漂移。对 CPU 程序这完全透明,但对 DMA(Direct Memory Access,直接内存访问)是个灾难——GPU 的拷贝引擎干活时要拿到一组固定的物理地址清单,中途页面被换走,DMA 就会读到错误的物理页甚至踩坏别的进程。
锁页内存就是把这个隐患消除掉:通过 cudaMallocHost(或 cudaHostAlloc)向 CUDA 运行时申请一块内存,运行时会让内核把这些页钉在物理内存里,不许换出、不许搬移,并把物理地址清单登记给驱动。此后 GPU 侧可以直接对这段内存发起 DMA,CPU 也可以像普通内存一样读写它。
上图把两条路径画在一起:pageable 路径里,CUDA 驱动会先在内部分配一小块锁页暂存缓冲,把用户数据用 CPU memcpy 逐块拷进去,再从暂存块发起 DMA——拷一块、传一块、串行接力。pinned 路径则一步直达,DMA 引擎全速跑。多出来的那一次 CPU 拷贝不仅占用 CPU,还把整条流水线切成两段,这是带宽差异的直接来源。
二、带宽差多少:实测量级
在 PCIe 3.0 x16(理论约 15.75 GB/s,实测有效约 12~13 GB/s)平台上,典型数字如下:
| 传输方式 | H2D 实测带宽 | CPU 占用 | 能否与 kernel 重叠 |
|---|---|---|---|
pageable + cudaMemcpy | 5~7 GB/s | 高(驱动内 CPU 拷贝) | 不能 |
pinned + cudaMemcpy | 11~13 GB/s | 低 | 不能(调用本身阻塞) |
pinned + cudaMemcpyAsync + 流 | 11~13 GB/s | 低 | 能(真异步) |
| pinned + 写合并(write-combined) | 12~13 GB/s(H2D) | 低 | 能,但 D2H 回读极慢 |
另外补一组容易误解的对比:同样是 pinned 内存,H2D 与 D2H(设备到主机)带宽基本对称,瓶颈都在 PCIe 链路本身;而 pageable 的 D2H 往往比 pageable 的 H2D 再慢一截,因为暂存块的接力方向反过来时,CPU 拷贝发生在数据到达之后,流水线更难填满。三个要点。第一,pinned 同步拷贝与 pageable 一样是阻塞调用,带宽上去了但语义没变;真正解锁「传输与计算重叠」的是 pinned + cudaMemcpyAsync 的组合——没有 pinned,Async 后缀只是名字好听,驱动内部仍会退化成同步分段拷贝。第二,写合并内存(cudaHostAllocWriteCombined)把 CPU 缓存旁路掉,H2D 方向能再挤出一点余量,但 CPU 读它慢一个数量级,只适合「CPU 只写、GPU 只读」的纯上传缓冲。第三,小块传输(KB 级)时固定开销占主导,pinned 的优势体现不出来,差异要在 MB 级以上才显著。
三、分配代价:锁页不是免费午餐
锁页内存的代价体现在三处。
分配慢。 cudaMallocHost 要走内核页表钉扎、物理地址登记等一整套流程,单次分配耗时是 malloc 的几十到上百倍。在传输循环里每次现申请现释放,省下的传输时间会被分配开销吃回去。正确姿势是一次性分配、循环复用,或者维护一个 pinned buffer 池。
挤压系统内存。 被钉住的页不能参与换出,钉得太多会让系统在内存压力下失去腾挪空间,极端情况下引发其他进程 OOM。经验值:锁页内存总量控制在物理内存的 1/4 以内,共享机器上还要更保守。
注册已有内存更贵。 cudaHostRegister 可以把一段已有 pageable 内存转成 pinned,省得重新分配加拷贝,但它要对范围内的每一页做钉扎,开销比 cudaMallocHost 还高,且注册区间太大时容易失败。适合「缓冲区生命周期归别人管」的场合,不适合热路径。
四、什么场景值得用锁页内存传输
决策路径照图走一遍:值得上 pinned 的门槛是「MB 级以上、反复发生的传输」。典型受益场景有三个:训练/推理的数据加载流水线(pinned + 双缓冲 + 异步拷贝,让 PCIe 传输藏进 kernel 计算里,这是 CUDA 流与异步拷贝 的标准招式);大块权重或特征的一次性上传(只吃带宽翻倍这一项收益也值得);D2H 结果回传(注意别用写合并属性)。
反过来,这些场景别用:一次性的小传输(分配开销大于传输收益);内存本就紧张的宿主(锁页加剧压力);以及访问模式复杂、懒得管搬移的场景——那正是 CUDA Unified Memory 统一内存 的地盘,它用缺页迁移换编程简单度,峰值带宽略低但省心。
五、落地检查清单
还有一个实战细节:多 GPU 机器上,pinned 内存默认对所有设备可见(portable 属性在新版驱动中已默认开启),不必为每张卡各申请一份;而零拷贝(zero-copy,把 pinned 内存直接映射给 kernel 寻址)虽然省掉显式拷贝,但 kernel 每访问一次都要走 PCIe 往返,只有「数据只被读一次且传输量小」时才划算,大数据量反复访问永远不如先 DMA 进显存。
动手优化传输路径时按这几条过:先把 nvprof 或 Nsight Systems 跑一遍,确认 H2D/D2H 在 timeline 上确实占大头,别在不是瓶颈的地方折腾;所有参与 cudaMemcpyAsync 的主机缓冲区确认是 pinned,否则重叠是假象;pinned 缓冲在初始化阶段一次性分配,循环里只复用不重建;锁页总量估一下是否超过物理内存 1/4;如果做完带宽仍不达标,回到 GPU 存储层次与带宽 检查 PCIe 代数与通道数是否被硬件卡了上限。
这一篇在知识体系里的位置
- 下游:CUDA 流与异步拷贝 把本篇的 pinned 缓冲放进多流流水线,实现传输与计算重叠,是锁页内存价值的完整释放。
- 横向:CUDA Unified Memory 统一内存 是与 pinned 手动管理相对的另一条路,用运行时自动迁移换开发效率。
- 上游:GPU 存储层次与带宽 给出从 PCIe 到 HBM 的各级带宽数字,是评估「传输是否成为瓶颈」的标尺。
总结
锁页内存传输的本质是「把物理页钉住、让 GPU 直接 DMA」:pageable 内存的 H2D 拷贝要先经驱动内部的 pinned 暂存缓冲做一次 CPU 中转拷贝,带宽腰斩且无法异步;cudaMallocHost 分配的 pinned 内存一步直达,带宽轻松翻倍并解锁 cudaMemcpyAsync 的真异步重叠——代价是分配慢、占用不可换出的物理内存,所以正确用法是「MB 级以上的反复传输才上 pinned、初始化时一次分配循环复用、总量控制在内存四分之一以内」。