CUDA Graph 池共享:多 batch 尺寸复用 graph memory pool 的用法与坑
更新时间:2026-10-07。前面 CUDA Graph 捕获与回放 讲过 capture/replay 的基本机制,CUDA Graph 启动开销拆解 量过它省下的几十微秒,cudaMallocAsync 内存池 讲过流序分配器的池子。本篇落到推理服务的一个真实痛点:线上 batch 尺寸不止一种,为每个 batch 各捕获一张图时显存会爆炸,CUDA Graph 池共享就是解这个问题的官方手段。
本文要回答的问题
- 为什么每个 batch 尺寸各抓一张 CUDA Graph 会把显存吃光?
- graph memory pool 是什么,怎么让多张图共用同一个池?
- 哪些图之间可以安全共享池,哪些共享会踩出数据错乱?
- PyTorch 里
make_graphed_callables和手动 capture 分别怎么做池共享?
一、问题:每 batch 一张图,显存线性爆炸
先看问题是怎么来的。CUDA Graph 捕获(capture)时,流上发生的所有 cudaMalloc(或 PyTorch 的 caching allocator 分配)不会真的走通用分配器,而是被重定向到一个图私有内存池(graph memory pool),分配出的虚拟地址在图实例化后被「钉死」——回放时 kernel 读写的就是这些固定地址。这是 CUDA Graph 能免重新录参数直接回放的前提,也是它显存开销的来源。
一个 LLM 推理场景的具体数字:模型权重 14GB(7B,FP16)只存一份没问题,但每张图里藏着的中间激活、KV 写入的 scratch buffer、采样用的临时张量是图私有的。实测 batch=1 的图私有池约 1.2GB,batch=8 约 2.6GB,batch=32 约 6.5GB。如果你为 batch 1/2/4/8/16/32 六个档位各抓一张图,光图私有显存就是 1.2+1.4+1.8+2.6+4.2+6.5 ≈ 17.7GB——比权重还大,80GB 的 H100 直接少了一档可服务的并发。权重可以共享,图私有激活却各自为政,这就是池共享要解决的浪费。
二、机制:graph memory pool 与共享的条件
CUDA 给的解法直白:多张图共用同一个 memory pool。底层 API 是 cudaDeviceGetGraphMemPool / cudaDeviceSetGraphMemPool——在捕获第二张图之前,把当前设备的 graph mem pool 设成第一张图用过的那个池,新图的捕获分配就会从同一个池里拿地址。
共享成立的关键条件是:两张图不会并发回放。同一个池里的虚拟地址区间会被不同的图复用——batch=4 的图里某个中间激活的地址,可能正是 batch=16 图里另一块 buffer 的地址。只要任意时刻只有一张图在跑,回放前池子是空闲的,复用就安全;一旦两张共享池的图在不同流上同时回放,它们会踩彼此的内存,输出错乱且不报错——这是池共享最阴险的坑,比 OOM 难查得多。
图里左边两张图都指向同一个池:池的容量只需容纳最大的那张图(各图取峰值,不再求和)。六个 batch 档位共享后,图私有显存从 17.7GB 降到约 6.5GB(最大图的占用),省出 11GB——这些显存换算成 KV cache 大约能多容纳 20% 的并发请求,直接等于白捡的吞吐,还不用改模型结构。右边的私有池方案是对照:各自为政,容量求和。
第二个条件是捕获顺序与释放纪律。共享池的图实例化后,如果某张图被 cudaGraphExecDestroy 销毁,它占的地址区间并不会自动安全地让给「仍存活且可能正在排队回放」的图——CUDA 只保证池内分配对捕获时活着的图一致。工程上的稳妥做法是:所有要共享的图一次性全部捕获完、常驻不销毁;要销毁就整组销毁、整组重抓。增量补抓一个新 batch 档位是可行的(只要旧图都还在),但删掉中间一档再抓新的,属于文档没承诺的行为,别在线上赌。
三、CUDA C++ 与 PyTorch 两条路
CUDA C++ 手动写法骨架(省略错误检查):
cudaGraphExec_t exec4, exec16;
// 1. 先捕获 batch=4,拿到它的池
capture_graph(stream, batch4_fn, &exec4); // instantiate 后
cudaMemPool_t pool;
cudaDeviceGetGraphMemPool(device, &pool); // 此时 pool 即第一张图所用
// 2. 捕获 batch=16 前显式确认用同一个池
cudaDeviceSetGraphMemPool(device, pool);
capture_graph(stream, batch16_fn, &exec16);要点:先抓的图决定池的存在,后抓的图在 capture 之前 cudaDeviceSetGraphMemPool 指过去即可。池的释放阈值建议用 cudaMemPoolSetAttribute(pool, cudaMemPoolAttrReleaseThreshold, &UINT64_MAX) 拉到顶——默认阈值下池在空闲时会把显存还给驱动,下一张图捕获又要重新向驱动要,引入抖动;推理服务显存本来就是常驻的,拉满最省心。这和 cudaMallocAsync 内存池 里讲的 release threshold 是同一个旋钮,语义完全相通。
PyTorch 侧更省事:torch.cuda.make_graphed_callables 内部就是按「同一组可调用对象共享一个池」实现的,把多个 batch 的模型调用按从大到小的顺序传进去即可——官方文档明确要求按 sample 的张量大小降序排列,因为先捕获的大图把池撑到峰值,后面小图直接装进去。手动 torch.cuda.graph 上下文管理器则接受 pool= 参数:torch.cuda.graph(g16, pool=g4.pool()),一行完成共享。
| 方案 | 共享语法 | 捕获顺序要求 | 适用场景 |
|---|---|---|---|
| CUDA C++ | cudaDeviceSetGraphMemPool | 无硬性要求,建议大到小 | 自研推理引擎 |
| torch.cuda.graph | pool=g.pool() 传参 | 建议大到小 | 手写捕获逻辑 |
| make_graphed_callables | 内部自动共享 | 必须按输入大小降序 | 纯 PyTorch 前向 |
四、坑清单:四个真实踩过的
坑一,共享池的图跨流并发回放。前面说过机制,这里给触发姿势:推理服务用两条 CUDA stream 做流水线,调度器图省事把 batch=4 和 batch=16 的图分别扔到两条流上同时跑——因为它们共享池,直接互踩内存。铁律:共享一个池的所有图,回放必须串行(同一条流,或外部加锁)。不同池的图才可以并发。判断口诀:池是互斥域,不是命名空间。
坑二,捕获顺序反了导致池反复扩容。先抓 batch=1 再抓 batch=32,小图的分配先占住低地址,大图捕获时池要新扩一大段;如果中间穿插过普通分配(有人忘了在非捕获区做 warmup),还会出现池地址和 caching allocator 地址交错,显存碎片变多。从大到小抓,一次到位。
坑三,把 pool 句柄传错设备。多卡 TP 场景每张卡有自己的 graph mem pool,cudaDeviceGetGraphMemPool 拿的是当前设备的;在设备 0 上拿的池设到设备 1 的捕获里直接报错或静默建了新池。多卡下每卡各管各的共享组,别跨卡共享。
补一个验收视角:池共享生效与否一眼可查。CUDA 侧看 cudaMemPoolGetAttribute(pool, cudaMemPoolAttrReservedMemCurrent, ...),共享成功后该值约等于最大图的占用而非各图之和;PyTorch 侧 torch.cuda.memory_reserved() 在每抓一张新图后应只在首图时大涨,后续档位只小幅波动。如果每抓一张图保留显存都线性跳一档,说明池根本没共享上,回头查 pool= 参数或 cudaDeviceSetGraphMemPool 的调用时序——最常见的低级错误是在 instantiate 之后才设池,那时分配早已落进旧池。
坑四,图外张量踩进图的地址。捕获期间所有分配必须发生在捕获的流上;如果捕获中走了默认流或另一线程的分配,那些张量不在池里,地址生命周期归 caching allocator 管,图回放时它可能已被复用——表现和坑一类似的随机错数。排障手段:torch.cuda.graphs 的 debug 模式加上 compute-sanitizer 跑一遍回放,地址越界会现形。
这一篇在知识体系里的位置
本篇是 CUDA Graph 实战线的显存篇:上游 CUDA Graph 捕获与回放(capture/replay 机制)、CUDA Graph 启动开销拆解(为什么值得用图);同层 cudaMallocAsync 内存池(流序分配器与 release threshold)。用 vLLM 等框架的读者可对照其 enforce_eager 与 CUDA Graph 档位配置,原理即本文所述。
总结
CUDA Graph 池共享的核心就一句话:多张不同 batch 尺寸的捕获图通过 cudaDeviceSetGraphMemPool(PyTorch 里 torch.cuda.graph(pool=...) 或 make_graphed_callables 降序传参)复用同一个 graph memory pool,图私有显存从「各图求和」降为「最大图一份」——六档 batch 实测可从约 17.7GB 压到 6.5GB;代价是共享池的所有图必须串行回放(池即互斥域),捕获按从大到小一次抓齐、常驻不销毁,跨卡各管各的池,违反任何一条就是随机错数而非显式报错。