cudaAccessPolicyWindow:用 L2 驻留窗口调教 KV cache 与权重热点的命中率
更新时间:2026-10-03。前面 GPU 存储层次与带宽 讲过 HBM、L2、SMEM 的带宽落差:H100 的 HBM 是 3.35 TB/s,而 50 MB 的 L2 聚合带宽是它的数倍。大模型推理的 decode 阶段是纯粹的带宽游戏——每一步都要把整份 KV cache 和全部权重从显存里过一遍(背景见 KV cache 推理显存管理)。如果能让最常被重复读的那部分数据「钉」在 L2 里,每步 decode 实际落到 HBM 的流量就少一块,TPOT(每 token 延迟)直接受益。cudaAccessPolicyWindow 就是 CUDA 从 Ampere 开始给的这把手术刀:不改 kernel、不改数据布局,只给一段地址区间声明「这段数据请尽量留在 L2」,硬件就用 set-aside 分区替你保它。
本文要回答的问题
- L2 的 set-aside 分区是什么?它和普通的 L2 缓存行为差在哪?
- cudaAccessPolicyWindow 的四个关键参数(基址、大小、命中比例、属性)各自管什么?
- 窗口属性挂在 stream 上还是挂在全局上?两种作用域的实际差别是什么?
- KV cache 和权重这两类热点,分别适合什么样的窗口配置?
- 命中率调优怎么验证?常见误用(窗口过大、多窗口叠加、忘记 reset)怎么踩坑?
一、为什么需要它:decode 阶段的 L2 是「被动缓存」,而热点是「确定性的」
先把问题摆清楚。GPU 的 L2 是全 SM 共享的最后一级片上缓存,默认行为是被动的:哪个 SM 发了访存请求、miss 了,就从 HBM 把 cache line 拉进来,按普通的替换策略(近似的 LRU 类策略)管理。这套行为对「访问模式不可预知」的负载是合理的,但推理负载的热点恰恰是可预知的:
- decode 每一步,当前请求的全部历史 KV 都会被注意力读一遍;同一批请求的 KV 在几十、几百步里反复被读。
- 每一层的前向,全量权重都被 GEMM 读一遍;下一个 token 进来,同样的权重又被读一遍。小模型(几 GB 权重)在 50 MB 级 L2 面前虽然装不下全部,但最热的那部分层或 LoRA adapter 完全装得下。
被动 L2 的问题在于:热点数据和一次性数据(比如只读一次的 activation、只写一次的输出)竞争同一套 cache 容量,一次性数据把热点顶出去,下一步又得从 HBM 重拉。cudaAccessPolicyWindow 的思路是把这件事变成显式的:程序员圈出热点区间、声明期望的命中待遇,硬件把 L2 划出一块 set-aside(保留分区)专门伺候这些区间,普通流量走剩下的普通分区,互不挤占。
上图是整个机制的地基:L2 被劈成两个分区,窗口负责把「哪些地址算热点」这件事告诉硬件,set-aside 负责给热点一块不被普通流量污染的自留地。后面所有调优动作,都是围着「窗口圈多大、待遇给多高、分区划多少」这三个旋钮转。
二、解剖 cudaAccessPolicyWindow:四个参数各自的语义
接口本身不复杂,核心是这个结构体:
cudaAccessPolicyWindow window;
window.base_ptr = kv_base; // 窗口基址
window.num_bytes = kv_span; // 窗口覆盖字节数
window.hitRatio = 0.7f; // 命中比例 0.0~1.0
window.hitProp = cudaAccessPropertyPersisting; // 命中时属性
window.missProp = cudaAccessPropertyStreaming; // miss 时属性逐个说。base_ptr / num_bytes 圈定地址区间,区间可以远大于 set-aside 容量——这时候 hitRatio 登场:hitRatio 不是「命中率目标」,而是「窗口内被当作热点对待的 cache line 比例」。硬件用一种确定性伪随机的方式,把窗口内大约 hitRatio 比例的 cache line 标成 hitProp 属性,其余标成 missProp。这个设计的意图是:当热点区间比 set-aside 大时,与其让硬件自己随机地留下一部分(可能留下的是不热的),不如你显式说「随机保 70%,我认了」,换来行为可复现、调参可扫描。
hitProp / missProp 是两种访问属性。cudaAccessPropertyPersisting(驻留型)的 line 在 set-aside 里享受「尽量不被替换」的待遇,还会被优先留在 L2 更久;cudaAccessPropertyStreaming(流式型)则相反,标记为「用过即弃」,优先被淘汰,适合那些读一次就不再用的数据——把它设给 missProp,等于告诉硬件「窗口里没被选中的部分别占地方」。还有第三种 cudaAccessPropertyNormal,就是回到默认行为。
这张图把 hitRatio 的真实语义画清楚了:它不是性能承诺,而是窗口内部的一次「确定性分流」。调优时扫描 hitRatio 从 0.3 到 1.0 的曲线,找端到端延迟的拐点,是比拍脑袋设 1.0 更靠谱的玩法——因为窗口大于 set-aside 时 hitRatio=1.0 反而会让所有 line 都自称 Persisting,set-aside 装不下就变成相互挤兑,效果可能不如一个温和的 0.6。
三、两种作用域:stream 属性 vs 全局 context 属性
窗口得挂到一个作用域上才生效,CUDA 给了两条路:
// 路径 A:挂在某条 stream 上
cudaStreamSetAttribute(stream, cudaStreamAttributeAccessPolicyWindow, &attr);
// 路径 B:挂在全局(device context)上
cudaCtxResetPersistingL2Cache(); // 重置用
// 全局窗口通过 cudaDeviceSetLimit 之外的属性接口设置实际工程里 stream 作用域是绝对主流,原因有三。第一,粒度对:LLM 引擎里 prefill 和 decode 走不同的 stream 或不同的阶段,decode stream 想要 KV 驻留,prefill stream 不需要,全局窗口没法区分。第二,可叠加:一个 stream 同一时刻只有一个窗口,但不同 stream 可以各挂各的——注意,多个窗口覆盖的地址如果同时活跃,它们共享同一个 set-aside 分区,加起来别把分区撑爆。第三,好清理:stream 销毁或重新 set 一次属性即可换窗口;而驻留过的 line 在窗口撤掉后可能还赖在 set-aside 里,需要 cudaCtxResetPersistingL2Cache() 显式清场,这点在压测脚本里换配置时尤其容易忘,忘了就会出现「第二次跑的数据被第一次的残留污染」的诡异结果。
set-aside 分区本身的大小是另一个旋钮,用 cudaDeviceSetLimit(cudaLimitPersistingL2CacheSize, bytes) 配置,上限是 L2 容量的 75%(A100 的 40 MB L2 最多划 30 MB,H100 的 50 MB 最多划 37.5 MB)。划多少取决于热点真实有多大:分区划小了装不下热点,hitRatio 再高也白搭;划大了则普通分区被压缩,activation 等正常流量的 miss 率上升,两头吃亏。
| 决策项 | 配置接口 | 关键约束 | 典型起点 |
|---|---|---|---|
| set-aside 分区大小 | cudaDeviceSetLimit | 上限 L2 的 75% | 热点实际字节数,取 2 的幂对齐 |
| 窗口区间 | window.base_ptr/num_bytes | 可大于分区 | 热点张量连续段 |
| 命中比例 | window.hitRatio | 0.0~1.0 | 分区容量/窗口大小 |
| 命中属性 | hitProp=Persisting | 配 Streaming 型 missProp | 热点只读场景 |
| 清场 | cudaCtxResetPersistingL2Cache | 换配置前必做 | 压测每轮调用 |
四、场景一:KV cache 的窗口配置——热度是「分层+分请求」的
KV cache 的热度不是均匀的。decode 时每一层都读自己的 K/V,但浅层 KV 与深层 KV 的访问延迟容忍度不同;更重要的是请求维度:batch 里长序列请求的 KV 占大头,而它们的读取是每步必现的。典型预算是这样的:单请求 KV 字节数 = 2(K 和 V)× 层数 × 头维度合计 × 序列长 × 2 字节(FP16)。以 7B 模型(32 层、GQA 后 KV 维度 1024)、4K 上下文估算,单请求约 512 MB——远超任何 set-aside,全量驻留没戏。
所以 KV cache 的窗口策略注定是保一部分。三种可行切法:其一,保 GQA 共享后每个 KV head 的「最近一段」——配合 滑动窗口注意力缓存 时,窗口以外的 KV 反正马上要被驱逐,只给窗口内的活跃段贴 Persisting;其二,保 batch 里被多轮共享的 prefix 部分——配合 prefix caching 前缀复用,被 N 个请求共享的系统提示词 KV 是天然的全局热点;其三,hitRatio 调低做「抽样驻留」,承认装不下,换统计意义上的带宽节省。
上图的重点是「一个张量可以拆成多个窗口」——接口允许你对不同地址段给不同待遇,热度的梯度就这样映射成缓存待遇的梯度。工程落地时注意窗口基址要按 cache line 对齐(建议 128 字节起),否则窗口边界的部分 line 行为不符合预期。
五、场景二:权重热点的窗口配置——小模型全驻留,大模型保尖峰
权重侧的故事更干脆。decode 时权重是「每步全量读一遍」的完美流式负载——默认给它 Persisting 似乎是反直觉的,但账要这么算:如果整份权重要比 L2 小(比如量化后 3~4 GB 模型里的某个常驻模块,或多 LoRA 服务里当前最热的 adapter),那么让它驻留等于把这部分 HBM 流量直接清零。多 LoRA serving 适配器 的场景特别典型:底座权重几十 GB 没法驻留,但单个 LoRA adapter 通常只有几十到几百 MB,当前流量集中在少数几个热门 adapter 上时,给这几个 adapter 的权重段各挂一个 Persisting 窗口,decode 每步省下的 HBM 带宽是实打实的。
反过来,全量权重比 L2 大得多时,给权重挂 Persisting 窗口通常是负优化:权重在窗口内被标成驻留型,把 set-aside 占满,但每步读完一轮后最早进入的 line 又不得不被新一轮权重顶掉——驻留了个寂寞,还挤压了 KV cache 和 activation 的缓存空间。这种场景下权重更适合 Streaming 属性:明确告诉硬件「我读完就不回来了,别留我」,把 L2 让给真正会复用的数据。
这张判定图是全篇最实用的一张:所有窗口配置决策,第一步都是拿「热点真实字节数」和「set-aside 容量」比大小,八成是个经验水位——留两成余量给窗口命中判定的统计涨落和驱动自身的管理开销。过了这条线,Persisting 变 Streaming,思路整个反过来。
六、验证与调优工作流:用计数器说话,别用感觉
窗口配得对不对,不能只看端到端延迟,要看 L2 计数器。Nsight Compute 里关注三个指标:lts__t_sector_hit_rate.pct(L2 命中率)、lts__t_sectors_srcunit_tex_op_read 的 miss 分解、以及 HBM 的 dram__bytes_read.sum——配置窗口前后 dram 读字节的差值,就是窗口真正省下的流量。工作流建议这样走:先跑一次基线记录 dram 读字节;配好窗口跑第二轮;若 dram 字节没降,检查 hitRatio 是否过低、窗口是否真覆盖了热点地址(用 cudaPointerGetAttributes 确认指针归属);若 dram 字节降了但延迟没降,说明瓶颈本来就不在带宽而在算力或调度,窗口收益被掩盖,这时候该回头查 Nsight 性能分析 里的 SM 占用率。
常见坑集中说三个。第一,窗口没换流:kernel 跑在 stream A 上,窗口挂在 stream B 上,完全不生效——这是配置后「一切如常」的最高频原因。第二,忘记 reset 残留:压测循环里换配置前不调 cudaCtxResetPersistingL2Cache,上一轮的 Persisting line 还在 set-aside 里,新窗口的数据进不来。第三,多窗口叠加超预算:引擎里 KV 窗口加 LoRA 窗口加 prefix 窗口,各自看都不大,加起来超过 set-aside,硬件按到达顺序先到先得,后到的窗口形同虚设——记账时要把所有活跃窗口的「num_bytes × hitRatio」加总与分区容量对账。
| 症状 | 大概率原因 | 处置 |
|---|---|---|
| 配了窗口 dram 字节不变 | 窗口挂错 stream | 核对 kernel 启动流与属性流 |
| 第二轮压测结果异常好或差 | 未 reset 残留 | 每轮前 cudaCtxResetPersistingL2Cache |
| hitRatio 调高反而变慢 | 窗口大于分区,挤兑 | 降 hitRatio 或缩窗口 |
| 多窗口只有一个生效 | set-aside 总预算超支 | 加总对账,砍低优先级窗口 |
这张工作流图可以直接抄进引擎的性能调优 SOP:窗口调优不是一次性的配置动作,而是一个「基线—配置—对账—扫描—锁定」的闭环,每一步都有明确的量化判据,拒绝拍脑袋。
七、适用边界与版本约束
最后划清边界。硬件上,set-aside 与 access policy window 需要 Ampere(SM 80)及以上,Turing 及更早的卡没有这套机制;窗口数量、hitRatio 语义在 Hopper 与 Ampere 上一致,但 L2 容量差异(40 MB vs 50 MB)直接改变预算账本。软件栈上,vLLM、TensorRT-LLM 等引擎对窗口的直接暴露有限,多数落地发生在自研 kernel 或引擎补丁层——和 TensorRT-LLM in-flight batching 这类框架级优化是正交的一层。另外,窗口是「建议」而非「保证」:硬件在高负载下可以违背 Persisting 的驻留承诺,调优结论要以实测计数器为准,不要拿接口语义当性能合同。
| 场景 | 建议 | 理由 |
|---|---|---|
| decode 小模型权重小于 set-aside | Persisting 全量窗口 | HBM 流量近似清零 |
| 多 LoRA 热门 adapter | 每 adapter 一个窗口 | 热点集中且可枚举 |
| 长序列 KV 全量 | 不保或低 hitRatio 抽样 | 装不下,挤兑有害 |
| 滑窗注意力活跃段 | 窗口跟随活跃段滑动 | 热度随时间平移 |
| prefill 大流量 activation | Streaming | 用过即弃不占地 |
| Turing 及更早 | 不可用 | 无硬件支持 |
这一篇在知识体系里的位置
本篇是「GPU 推理访存优化」线索的缓存策略一环:上游是 GPU 存储层次与带宽(L2 在层次中的位置与带宽账)和 KV cache 推理显存管理(热点数据本身的体量估算);同层可对照 prefix caching 前缀复用(从算法侧制造可驻留的共享热点)、滑动窗口注意力缓存(热度随时间平移的另一类 KV 形态)与 多 LoRA serving 适配器(权重侧热点的来源);验证手段见 Nsight 性能分析,下游延伸是 Blackwell 代际的 L2 分区细粒度控制与编译器自动插入窗口属性。
总结
cudaAccessPolicyWindow 把 L2 从「被动缓存」变成「程序员可圈地的驻留分区」——先用 cudaDeviceSetLimit 划出不超过 75% 的 set-aside,再给 KV cache 的共享 prefix、滑窗活跃段或热门 LoRA adapter 这类「装得下的确定性热点」挂上 Persisting 窗口并用 hitRatio 控制驻留比例,装不下的流式数据则反过来标 Streaming 主动让位——配好后以 dram 读字节差值和 L2 命中率为判据做闭环扫描,才能把 decode 阶段宝贵的 HBM 带宽真正省到 token 延迟上。