滑窗注意力:KV cache 只留最近一窗,窗口怎么滚、长上下文怎么混
更新时间:2026-10-02。这条「推理显存」线索我们已经铺了几块砖:KV cache 与推理显存 讲清了 KV cache 为什么是显存大头,PagedAttention:vLLM 用分页 KV cache 把推理吞吐翻几倍 讲怎么把已有 KV 摆得更省。但这两篇都默认一个前提:所有历史 token 的 KV 都得留着。滑窗注意力(sliding window attention,SWA)从模型结构层面直接改这个前提——每个 token 只回看最近 W 个位置,窗口之外的 KV 可以扔掉。Mistral 7B、Gemma 2、Qwen 部分层都用了它。这篇讲它的 KV cache 管理怎么做,以及为什么纯滑窗撑不住长上下文、必须和全局注意力混着用。
本文要回答的问题
- 滑窗注意力的数学定义是什么?理论上每个 token 的「视野」真的只有 W 吗?
- 窗口滚动时 KV cache 怎么管理?为什么说环形缓冲是它的自然数据结构?
- 预填充(prefill)一段比窗口还长的 prompt 时,哪些 KV 可以算完就丢?
- 纯滑窗模型的有效上下文有多长?为什么 Mistral 标称 32K 却会在长文检索上翻车?
- 滑窗层与全局注意力层怎么混排,混合之后 KV cache 管理变复杂在哪?
一、定义:每个 token 只回看最近 W 个位置
标准因果注意力里,位置 i 的 token 能对 0..i 全部历史做注意力。滑窗注意力把可见区间截断成 [i-W+1, i]——只最近 W 个 token,更早的位置在注意力掩码里直接置负无穷,softmax 之后权重为零。W 是超参数,Mistral 7B 取 4096,Gemma 2 的滑窗层取 4096(隔层全局),Longformer 时代则用 512 配扩张窗口。
对推理的意义立刻可见:每个位置最多需要 W 个历史 KV,超出窗口的 KV 永不再被任何后续位置访问——因为位置只会往前走,窗口右边界单调右移,掉出左边界的 token 从此「死了」。KV cache 的占用因此与序列总长解耦:不管生成到第 1 万还是第 100 万个 token,每层只需 W 个槽位。对比全注意力下 KV 随长度线性增长,这是数量级层面的差别——W=4096 时,一个 128K 序列的滑窗层 KV 占用只有全量层的 1/32。
但「视野只有 W」这个直觉是错的。Transformer 是堆叠的:第 l 层的 token i 能看到 [i-W+1, i],而这些位置在第 l-1 层各自又融合了它们之前 W 个位置的信息。归纳一下,L 层滑窗堆叠后,感受野上界是 L×W——信息以每层 W 个位置的速度向左「渗漏」。Mistral 7B 有 32 层、W=4096,理论感受野 131072,这正是它敢标 32K 上下文的底气。注意这只是上界:边缘位置的信息要经过多次间接混合才能到达,权重会被逐层稀释,实际有效视野远小于理论值,这一点第五节还会回来算账。
上图是滑窗感受野的逐层扩张。直觉类比传话游戏:每层只能跟左边 W 个人说话,L 层之后消息理论上能从 L×W 外传来,但传到时已经转述了 L 次。
二、环形缓冲:滑窗 KV cache 的自然结构
「掉出窗口即死」这条性质,让滑窗层的 KV cache 管理比全量层简单得多:固定 W 个槽位的环形缓冲(ring buffer)就够了。维护一个写指针 p:新 token 的 KV 写到槽位 p mod W,然后 p 加一。当序列长度超过 W 后,写入自然覆盖最老的那个槽位——它恰好就是刚掉出窗口的 token,语义和覆盖时机严丝合缝,不需要任何显式淘汰逻辑。
注意力 kernel 侧的对应改动也小:对当前 query,有效 KV 是槽位 (p-W) mod W 到 (p-1) mod W 这一段,可能跨环形边界折成两段连续区间,分两次读即可;配合分页管理(比如 vLLM 的块表)时,则体现为「逻辑块号超过窗口的物理块直接归还 free list」。工程上更常见的实现正是后者——滑窗层照样按块分配,只是块表只保留最近 ⌈W/block_size⌉ 项,滑出窗口的块整批回收,块内无需特殊处理。
decode 阶段每步的增量也因此恒定:一层写入一份 KV(2 个向量),不触发任何搬移。这与全量层「每步追加、显存线性涨」形成鲜明对照。下表把两种层在推理侧的账摆在一起:
| 维度 | 全局注意力层 | 滑窗注意力层(窗口 W) |
|---|---|---|
| KV 占用随序列长度 | 线性增长 | 恒定 W 份,封顶 |
| 数据结构 | 追加式数组 / 块表 | 环形缓冲 / 截断块表 |
| 每步 decode 增量 | 追加 1 份,不淘汰 | 写 1 份、隐式淘汰 1 份 |
| 128K 上下文 KV(W=4096) | 128K 份 | 4096 份(1/32) |
| 长文远处信息 | 精确保留 | 逐层稀释后近似丢失 |
三、prefill:长 prompt 的 KV 可以「算完就丢」
decode 的滚动好理解,prefill 阶段有个更妙的性质值得单独说。一段长度为 P 的 prompt 进来,如果 P > W,朴素做法是先算全部 P 个位置的 K、V,再把前 P-W 份丢掉。但滑窗结构下根本不必落盘:第 i 个位置的 KV 一旦被位置 i+W 处理完,就再无人访问。FlashAttention 式的分块 prefill 天然契合这一点——按块推进时,落后当前块超过 W 的 KV 块可以直接释放或根本不写回显存,prefill 全程的 KV 驻留量同样封顶在 W 附近,而不是峰值 P。
这对长文档场景是实打实的收益:喂一篇 100K token 的文档给纯滑窗模型,prefill 的显存峰值与喂 4K 文档几乎一样(只差窗口内那点)。配套的成本提醒是:滑窗省的是显存和 decode 的注意力计算,prefill 的计算量一分不少——每个位置仍要算 QK^T,只是掩码让大部分乘积权重为零;高效的 kernel(如带滑窗掩码的 FlashAttention)能跳过窗口外的块对,把 prefill 计算也压到 O(P×W),但不是所有实现都做了这步优化,用老 kernel 跑长 prompt 时算力开销仍按全量算。
四、纯滑窗撑不住长上下文:三笔账
既然滑窗这么省,为什么不全用滑窗?因为三笔账算不平。
第一笔,显式检索任务翻车。「大海捞针」(needle in a haystack)类测试要求模型从长文任意位置精确召回一个事实。纯滑窗模型里,距离当前位置超过 W 的针,只能靠逐层渗漏的间接信息,针的内容经过几十次混合后早已稀释到噪声水平。实测 Mistral 7B(标称 32K)在针放在 8K 以外时召回率明显塌陷——理论感受野 131K 是「存在路径」,不是「带宽够用」。
**第二笔,RoPE 外推叠加窗口漂移。**滑窗模型常用 RoPE 位置编码(旋转位置编码,把相对位置编码进 Q/K 的旋转角),窗口滚动后物理槽位被复用,若实现按「槽位号」而非「全局位置」编码,长序列下位置信号会错位;按全局位置编码则撞上 RoPE 训练长度外推的老问题。细节可对照 RoPE 与长上下文扩展。
**第三笔,前缀缓存失效面变大。**多轮对话里历史轮次会滑出窗口,意味着下次续聊时那部分 KV 已经不存在了,没法像全量 KV 那样靠前缀缓存直接续上——要么接受「模型忘了开头」,要么重算。前缀复用的机制见 前缀缓存与 Prompt 复用。
结论很现实:滑窗是把「精确的长程记忆」换成「恒定的显存开销」,交易划算与否取决于负载里长程精确依赖的密度。对话、代码补全这类「近期上下文为主」的负载血赚;长文问答、全文检索则必须留全局通路。
五、混合策略:滑窗层与全局层交错排布
工业界的答案是混排:大部分层用滑窗控制成本,少数层用全局注意力保住长程通路。Gemma 2 是教科书式做法——滑窗层与全局层 1:1 交错,滑窗 W=4096;Llama 4 等也沿用类似比例。直觉解释:全局层是「信息高速公路的互通立交」,每隔几层给所有位置一次全量交换信息的机会,远处信息只需在少数全局层上精确传递,其余层用便宜的局部混合细化即可。实验上 1:1 到 5:1 的比例对长文任务质量影响平缓,显存却差出数倍。
混合之后,KV cache 管理变成「两类池子分管」:
上图的要点在最后一行注释:混合架构里滑窗层显存恒定,显存瓶颈整体转移到了全局层。所以工程上 KV cache 压缩的火力都瞄准全局层——GQA/MQA 减少 KV 头数(见 GQA/MQA 与 KV cache 节省)、KV 量化到 FP8/INT4、冷块卸载到 CPU 内存(见 KV cache CPU 混合卸载)。一个典型账:32 层模型按 1:1 混排、W=4096、序列 32K,滑窗层 KV 总量是全量的 1/8,16 个全局层贡献 8 倍于滑窗层的占用——全局层再叠 4:1 的 GQA 和 INT4 量化后,整体 KV 能比纯全量 FP16 基线小一个数量级,而长文质量基本保住。这正是当前中长上下文开源模型的主流配置。
这一篇在知识体系里的位置
本篇属「推理显存」线索的模型结构侧:上游基础是 KV cache 与推理显存(KV 从哪来、占多少)与 PagedAttention:vLLM 用分页 KV cache 把推理吞吐翻几倍(摆法怎么省);同层对照 GQA/MQA 与 KV cache 节省(结构侧另一条压缩路线,与滑窗正交可叠加)和 RoPE 与长上下文扩展(窗口之外的位置编码问题);下游延伸是混合架构下全局层的量化与分级卸载工程。
总结
滑窗注意力让每个 token 只回看最近 W 个位置,KV cache 因此可以用恒定大小的环形缓冲管理、与序列长度彻底解耦,prefill 时超窗 KV 还能算完即丢;代价是远处信息只能靠逐层渗漏、精确长程检索会翻车,所以主流模型把滑窗层与全局注意力层交错混排,用少数全局层保住长程通路,再把 GQA、量化、卸载这些压缩火力集中到全局层上——显存与长文能力各取一段甜点。