CUDA occupancy 调优:寄存器与共享内存占用限制链速查
更新时间:2026-10-05。姊妹篇 occupancy 与寄存器压力 讲了「寄存器溢出 spill 的代价」,本篇是它的实战速查版:CUDA occupancy 调优到底调什么、按什么顺序调、每一步用什么命令验证。文中默认你已经会用
ncu(Nsight Compute)跑基本 profile,不了解的话先看 kernel launch 开销与融合 里的工具链铺垫。
本文要回答的问题
- occupancy(占用率)到底由哪三条资源链共同决定,谁先到顶?
- 怎么从
ncu报告里读出「限制我的是寄存器还是共享内存」? __launch_bounds__和-maxrregcount什么时候该用、有什么副作用?- theoretical occupancy 和 achieved occupancy 差很远时往哪个方向查?
- 一张速查表:常见 kernel 类型的合理 occupancy 目标区间是多少?
一、occupancy 是什么,为什么它不是越高越好
occupancy(占用率)= 每个 SM 上实际驻留的活跃 warp 数 ÷ 该架构 SM 支持的最大 warp 数。Ampere/Hopper 的 SM 最大驻留 64 个 warp(2048 线程)。occupancy 50% 意味着 SM 上常驻 32 个 warp。
它的作用只有一个:用多 warp 轮换掩盖延迟,让流水线别闲着。访存要等 400~800 拍,算术指令也有 4~10 拍的流水线延迟,SM 上 warp 越多,调度器越容易找到一个「现在有活干」的 warp 补上去。但注意两个反直觉事实:
- memory-bound kernel 往往 25%~50% 就够了——只要 inflight(在途未完成的)访存请求数足以填满带宽,再加 warp 只是在队列里干排,不增加吞吐。
- compute-bound kernel 有时 occupancy 太高反而更慢——寄存器被摊薄后每个线程能用的少了,可能触发 寄存器压力与 spill 里讲的 local memory 溢出,一拍毁所有。
所以 CUDA occupancy 调优的正确姿势是:先算出谁卡住了 occupancy 上限,再决定要不要推它,而不是无脑追高。
再补一个容易忽略的前提:occupancy 讨论的是「单 SM 驻留多少 warp」,它默认你的 grid 足够大、能把所有 SM 都喂饱。如果整个 grid 只有 8 个 block 而卡上有 108 个 SM,那先把并行度拆出来再说,occupancy 公式帮不上忙。判断顺序永远是:先看 SM 占用均不均,再看单 SM 驻留够不够。
二、三条限制链:谁先到顶谁说了算
每个 SM 的驻留 block 数由三个独立的上限取最小值决定:
- 寄存器链:SM 寄存器堆总量(Ampere 每 SM 65536 个 32-bit 寄存器)÷(每线程寄存器数 × block 线程数),再按寄存器分配粒度取整。
- 共享内存链:SM 可用 shared memory(可配 carveout,A100 最高 164KB/SM)÷ 每 block 动态+静态 shared 用量。
- block/warp 槽位链:SM 最多驻留 32 个 block、64 个 warp。block 太小(如 32 线程)会先撞 block 槽位上限,block 太大则取整浪费严重。
上图就是 occupancy 计算的全部逻辑:三条链并联取 min。调优的第一步永远是找出当前哪条链最短。举个具体数字:某 kernel 每线程用 64 个寄存器、block 256 线程、每 block 用 32KB shared memory,在 A100(carveout 配 100KB)上:
- 寄存器链:65536 ÷ (64×256) = 4 block
- shared 链:100KB ÷ 33KB ≈ 3 block
- 槽位链:min(32, 2048÷256=8) = 8 block(block 数与 warp 数两个上限取小)
最短的是 shared 链,每 SM 驻 3 block = 24 warp,theoretical occupancy = 24/64 = 37.5%。这时候去砍寄存器毫无意义,要么减 shared 用量,要么把 carveout 调大(cudaFuncAttributePreferredSharedMemoryCarveout)。
还有两个取整细节经常坑人。一是寄存器按分配粒度向上取整:架构以 256 个寄存器为粒度按 warp 分配,每线程从 40 降到 37 个可能一个 block 都多塞不下,因为按 warp 算完取整后没跨过档线。二是每个 block 有 1KB shared 的系统保留,动态申请时还要按 128 字节对齐,所以「shared 总量 ÷ tile 大小」的口算结果往往比实际能多驻一个 block,别按理想值设计 tile。不想手算的话,直接用 CUDA 提供的 cudaOccupancyMaxActiveBlocksPerMultiprocessor 运行时 API,或者编译时开 --ptxas-options=-v 看 ptxas 报告的寄存器与 shared 用量,再去 Occupancy Calculator 表格里对。
三、用 ncu 读出「谁在限制我」
一条命令拿到全部关键指标:
ncu --set full --section Occupancy --section LaunchStats ./your_app重点看三处:
| ncu 字段 | 含义 | 判读 |
|---|---|---|
Theoretical Occupancy | 按资源算出的上限 | 已达标就不用动资源 |
Achieved Occupancy | 实测平均活跃 warp 占比 | 远低于理论值→看尾段/负载不均 |
Block Limit Regs/Smem/Blocks | 三条链各自的 block 上限 | 最小者即瓶颈链 |
另外 Registers Per Thread 在 Launch Statistics 里,spill 看 Memory Workload Analysis 的 local memory 流量——local load/store 非零基本就是 spill 了。还有一个粗筛手段:ncu --metrics launch__registers_per_thread,sm__maximum_warps_per_active_cycle_pct 只取两个指标,适合在回归脚本里批量跑,先把 occupancy 异常低的 kernel 捞出来再上 full set 细查。
theoretical 与 achieved 差距大的三种典型原因:一是 grid 太小,SM 没分满或尾 wave 空洞(可参考 GEMM split-K 调度 里对尾 wave 的讨论);二是 block 内同步重,__syncthreads() 后大量 warp 干等;三是 kernel 太短,启动收尾占比高,这种该走 CUDA Graphs 捕获回放 或 persistent kernel 解码 那条路,不是 occupancy 能救的。
四、launch bounds:编译期给寄存器上枷锁
当寄存器链是瓶颈时,标准武器是 __launch_bounds__:
__global__ void __launch_bounds__(256, 6)
my_kernel(float* out, const float* in) { /* ... */ }两个参数:第一个告诉编译器 block 最大 256 线程(允许它按 256 假设做优化);第二个是每 SM 至少驻留 6 个 block——编译器据此把每线程寄存器压到 65536÷(256×6)≈42 个以内。
代价必须说清楚:压寄存器的方式是重算(rematerialization)和 spill 到 local memory。用完后一定要对比 ncu 的 local memory 流量和实测耗时—— occupancy 从 37% 提到 56% 但 kernel 慢了 20% 的翻车现场很常见。另一条全局途径是编译选项 -maxrregcount=40,但它对整个编译单元一刀切,一般只在快速实验时用,定型代码用 __launch_bounds__ 精确到 kernel。
调 shared 链的手段则是:减小 tile 尺寸、把部分数据挪回 global(配合 __ldg 缓存)、用 cudaFuncSetAttribute 申请 opt-in 的大块动态 shared(超过 48KB 必须 opt-in),或干脆提高 carveout 比例。
给一个完整的调优回合示例。某 stencil kernel 每线程 96 寄存器、block 512 线程、无 shared,寄存器链上限 65536÷(96×512)≈1.33,取整后每 SM 只能驻 1 block,occupancy 仅 25%。加 __launch_bounds__(512, 2) 后 ptxas 把寄存器压到 64,每 SM 驻 2 block,theoretical occupancy 升到 50%;ncu 复查 local memory 流量为零(没 spill),实测耗时从 820 微秒降到 610 微秒,回合成立。反之如果压到 48 个寄存器后 local store 冒出几十 KB,就要回退一档到 56,接受 37.5% 的 occupancy——调优就是在「warp 数」和「每线程资源」之间找实测最快的那一档,没有理论上的最优解。
五、速查表:常见 kernel 的 occupancy 目标
| kernel 类型 | 合理目标 | 说明 |
|---|---|---|
| 纯访存拷贝/elementwise | 25%~50% | 带宽填满即止,再高无益 |
| GEMV/解码 attention | 25%~50% | memory-bound,参考 attention split-K |
| GEMM tensor core tile | 12.5%~25% | 每 warp 寄存器吃满换大 tile,低占用是刻意的 |
| 规约/softmax | 50%~75% | 需要多 warp 掩盖 shared 访问与归约延迟,见 warp reduce softmax |
| 分支发散重的 kernel | 越高越好 | 发散白等,靠 warp 数硬填,先治本看 SIMT 分支发散 |
配套口诀:先 ncu 看瓶颈链 → 理论值达标就查 achieved → 寄存器链用 launch bounds 试、shared 链改 tile → 每步以实测耗时为最终裁判。
六、常见误区三则
误区一:occupancy 低就是慢。 实测里大量 tensor core GEMM 的 occupancy 只有 12.5%(每 SM 一个 256 线程 block、每线程 255 个寄存器),但它是故意的:大寄存器 tile 换来的是每 warp 极高的计算访存比,延迟靠指令级并行和软件流水掩盖,不靠 warp 数。看到低 occupancy 先问「这 kernel 是不是故意这么设计的」,再动手。
误区二:改完 launch bounds 只看 occupancy 涨没涨。 前面说过,压寄存器可能引入 spill 和重算。正确的验收清单是三项一起看:occupancy 变化、local memory 流量变化、kernel 实测耗时变化。第三项不变快,前两项再漂亮都是白忙。
误区三:在错误的 kernel 上调 occupancy。 profile 里占比 3% 的小 kernel,occupancy 从 25% 提到 75% 对整体耗时影响不到 1%。永远先按 ncu 或 nsys 的 kernel 耗时排序,只对头部两三个 kernel 做 occupancy 调优;小 kernel 的归宿是融合或 persistent kernel 解码 路线,不是参数微调。
这一篇在知识体系里的位置
本篇是 CUDA 性能调优速查线的一环:上游是 occupancy 与寄存器压力 的原理篇和 shared memory bank 冲突;横向衔接 kernel 结构层的 warp specialization 流水;下游实战看 int4 GEMM marlin kernel 这种把寄存器/shared 预算推到极限的真实案例。
总结
CUDA occupancy 调优不是追高数字,而是先算清寄存器、shared memory、block 槽位三条限制链谁先到顶,用 ncu 的 Block Limit 字段锁定瓶颈链,再用 __launch_bounds__ 或 tile 调整精准松绑,每一步都以实测耗时而非 occupancy 百分比做最终裁判。