Attention Sink 流式推理:StreamingLLM 用 sink 加滑窗 KV 撑起无限长输入
更新时间:2026-10-05。前面 滑窗注意力与 KV 缓存 讲过 Mistral 那一类「训练期就带滑窗」的模型怎么把 KV 缓存压成固定大小,那是一条「训练时改架构」的路。本篇讲另一条更反直觉的路:模型已经按全量注意力预训练好了,一行训练代码不改,只做推理期的缓存管理,能不能吃下无限长的流式输入? StreamingLLM 的答案是能,钥匙是一个被忽视的现象——注意力汇聚(attention sink):模型的注意力分数会不成比例地砸向序列最开头的几个 token。读懂这个现象,你就明白了为什么「朴素滑窗」一丢开头就崩、而「sink 加滑窗」稳如老狗,也能看懂后续一大批 KV 缓存驱逐策略(比如 KV 缓存驱逐之 H2O 策略)在设计上的共同祖先。
本文要回答的问题
- 无限流式输入面前,全量 KV 缓存和朴素滑窗各自卡在哪里?
- Attention sink 现象长什么样,为什么首 token 会吸走那么多注意力分数?
- StreamingLLM 的「sink token 加最近窗口」缓存布局具体怎么排,位置编码怎么对账?
- 这套方案的吞吐、显存、质量三角各付出什么代价,适用边界在哪?
- 它和训练期滑窗、H2O 驱逐这些兄弟方案怎么选?
一、流式推理的三难:显存、延迟、质量一个都不能塌
先把场景钉死。所谓流式推理(streaming inference),是输入 token 源源不断到来、模型要长期在线陪跑的场景:多轮对话跑了几天、直播字幕流、持续日志分析。输入长度没有上界,十万、百万 token 都是常态。
全量 KV 缓存方案(标准做法,所有历史 token 的 key 和 value 全部留在显存里)在这种场景下有两个硬伤。第一是显存线性膨胀:以 Llama-2-7B 为例,32 层、每层 32 头、每头 128 维,KV 两份 FP16,每 token 占 32 × 32 × 128 × 2 × 2 ≈ 512KB 的量级摊到每 token 是 0.5MB 上下,一百万 token 就是几百 GB,单卡根本装不下。第二是解码延迟线性恶化:每步解码都要和全部历史 KV 做一次注意力,序列越长单步越慢,缓存命中率也随缓存超出 L2、HBM 层级而塌方。
那朴素滑窗(window attention,只保留最近 w 个 token 的 KV,超出的直接丢)呢?显存和延迟都修好了——缓存恒定为 w,每步注意力成本恒定。但实验一跑就翻车:语言建模困惑度(perplexity,PPL,越低越好)在文本长度刚刚超过窗口大小的那一瞬间爆炸,从十几蹿到几千,模型输出退化成乱码。这不是渐进劣化,是悬崖式崩塌。这个现象在 LongLM、早期 Mistral 推理实验里都反复出现,长期被归因为「模型没见过这么长的输入所以外推失败」——但 StreamingLLM 的作者 Xiao 等人做了个对照实验把这个解释推翻了:同样是超出窗口,只要在缓存里额外留下最开始的 4 个 token,PPL 立刻回到正常水平。问题的根不在长度外推,而在被丢掉的头部 token 本身。
上图把三条路的账摆在一起。注意中间那行的批注:朴素滑窗的崩塌时刻不是「输入超过训练长度」,而是「序列最开始的 token 被逐出窗口」。这个巧合太刻意了,它直接指向一个隐藏在注意力分布里的结构——下一节的主角。
二、Attention Sink:注意力分数的「下水道」
把一个预训练好的自回归模型(Llama、GPT-NeoX、Falcon 都测过)跑一段文本,把每一层每一头的注意力分数矩阵画成热力图,会看到一个非常稳定的模式:无论当前 query 在关心什么,序列的第 0 号 token(通常是 BOS 或第一个词)几乎总是拿到一柱独高的分数,偶尔连第 1 到第 3 号 token 也分到不少;剩下的大量分数才按语义相关性分布在近期 token 上。最开头这几个吸分的 token,就是 attention sink(注意力汇聚点,直译「注意力下水道」——分数倒进去就没了的地方)。
为什么会这样?机制解释要回到 softmax 的归一化约束。注意力分数经 softmax 后每一行加和必须等于 1,哪怕当前 query 对所有历史 token 都没有强依赖,这些分数也不能全给零,必须找个地方「倒掉」。模型在训练中学到的策略是:把这部分无处可去的分数统一倒给一个固定的、位置绝对可知的 token——序列开头。首 token 有几个天然优势:它在每个训练样本里都存在且位置恒定,因果掩码保证它对所有位置可见,把它当「垃圾桶」学到的代价最小。换句话说,attention sink 是 softmax 加因果掩码这对组合的结构性产物,不是数据巧合。实验旁证很硬:把 BOS 换成一个毫无语义的换行符,sink 照样形成;反过来,softmax 换成可学的 off-by-one 版本(允许一行分数总和为 0),sink 现象基本消失。
sink token 的价值恰恰在于它「存了大量分数但几乎不贡献语义」。大量分数意味着它的 KV 在 softmax 的归一化分母里占着举足轻重的份额——朴素滑窗丢掉首 token,等于把每一层 softmax 分母里固定的一整块抽走了,剩下的分数被迫重新归一化,整体分布被系统性抬高,逐层放大之后输出彻底跑偏。这就解释了悬崖式崩塌为什么那么陡、为什么保住开头 4 个 token 就能稳住。
上图是一个典型 query 的注意力去向分解。两个黄色块是被朴素滑窗丢掉的「分数垃圾桶」,蓝色块是滑窗想保的语义部分。读这张图的要点是:sink 块看着「没有信息」,但它在归一化账本上扛着大梁——抽掉它,剩下部分的相对权重全乱。这就是 StreamingLLM 全部设计的出发点。
三、StreamingLLM 的缓存布局:4 个 sink 加一扇滚动窗
方案本身简单到一句话:KV 缓存里永远保留最开始的 s 个 token(sink 位),再叠加最近 w 个 token 的滚动窗口,中间的直接驱逐。缓存大小恒定为 s 加 w,与输入长度彻底解耦。论文里 s 取 4 就够了,1 或 2 个会明显掉点,4 以上收益饱和——注意是 4 个 token 位置,不是 4 个语义重要的词,开头哪怕是标点也照保。
这里有个位置编码的对账细节,是工程实现最容易翻车的点。现代模型用 RoPE(旋转位置编码,按 token 的绝对位置给 Q、K 施加旋转)时,朴素实现会给每个 token 烧上它的全局位置编号,滑窗滚动后新 token 的位置编号一路涨到几百万,远远超出训练时见过的位置范围,外推崩坏。StreamingLLM 的做法是让位置编号跟着缓存槽位走,而不是跟着 token 的全局序号走:缓存里 s 加 w 个槽位固定持有位置 0 到 s+w-1,新 token 进来占据最老的窗口槽位、继承那个槽位的位置编号。代价是模型的「位置观」是扭曲的——它以为最近一万个 token 其实只隔着 w 步——但实验证明模型对这种相对距离的压缩相当鲁棒,PPL 几乎不动。这个技巧也叫位置平移(position shifting),是整套方案免微调的关键。
上图是缓存的槽位拓扑。注意它和「队列」的区别:这不是一个整体先进先出的大 FIFO,而是两个区域的拼接——sink 区只写一次、永不驱逐,窗口区才是 FIFO。每一层、每一个注意力头都维护同一份这样的缓存(驱逐决策与内容无关,各层同步驱逐同一个 token 位置),所以实现上就是在标准 KV cache 的环形缓冲外面加一层「前 s 个槽位特殊保护」的逻辑,改 attention kernel 的索引计算即可。
工程侧还有两个细节值得记。一是 sink 数量对吞吐完全无感,s 从 4 加到 16,缓存多 12 个槽位,相对 w 动辄 1024 到 4096 的窗口是零头,可以放心取宽裕值。二是这套布局和 FlashAttention 之类的分块 kernel 天然兼容:sink 区是固定一小块,窗口区是连续一段,注意力计算就是「小块加连续块」的拼接,不需要 gather 一堆离散 KV,实测解码吞吐相比全量缓存的衰减只来自窗口本身的固定成本。
四、效果与代价:稳住质量之后,丢掉的中间是真丢了
账面数字先摆出来。StreamingLLM 论文在 Llama-2(7B、13B、70B)、MPT、Falcon、Pythia 全家族上验证:s 等于 4 加窗口 1020 的配置下,输入长度拉到 400 万 token,PPL 曲线全程平稳;朴素滑窗在文本长度刚超窗口时 PPL 从十几炸到数千,而 sink 方案在 22K token 的流式输入下仍能保持与全量缓存几乎重合的困惑度。吞吐侧,缓存恒定意味着单步解码成本恒定,22K 上下文下相比全量缓存(还没爆显存时)有最高 22 倍以上的解码加速;更关键的是可运行性本身——全量方案在几十万 token 时已经 OOM 出局,sink 方案还在匀速前进。
但千万别把它读成「无限上下文免费午餐」。这套方案保住的是语言建模的流畅性,不是对中间历史的记忆力。被驱逐的中间 token 的 KV 是物理释放的,模型事后绝无可能引用它。所以如果任务是「聊了三天之后问模型第一天说了什么」,StreamingLLM 会直接答错或胡编——它的适用域是「当前输出只依赖最近上下文加全局语流连贯性」的场景:持续生成、实时字幕、流式翻译、长对话里的近期话题延续。凡是需要精确召回任意历史片段的任务,它都不是答案,那属于检索增强或者 KV 缓存驱逐之 H2O 策略 里按重要性保留「重击者」token 的路子。
这张图是该方案的「能力账本」,绿色是收益,红色是代价。读法很直接:左右两列的分界线就是任务是否需要精确引用超出窗口的历史。落在这条线左边(流式陪跑型任务),StreamingLLM 几乎是零成本的神器;落在右边,它只能当底座,上面必须叠检索、摘要压缩或者重要性感知驱逐。
五、选型对照:免微调是它最大的差异化武器
把 StreamingLLM 放回 KV 缓存管理的整个方案空间里,它的定位会更清楚。对照表如下:
| 维度 | StreamingLLM(sink 加滑窗) | 训练期滑窗(Mistral 系) | H2O 重要性驱逐 | 全量缓存加长文本微调 |
|---|---|---|---|---|
| 是否需训练 | 完全免训练 | 训练期就要滑窗 | 免训练(驱逐策略) | 需要长文本微调 |
| 缓存结构 | 固定 s 加 w | 固定 w | 动态,按分数保重要 token | 全量,靠稀疏或压缩救场 |
| 中间历史 | 确定丢弃 | 确定丢弃 | 重要的可留下 | 保留 |
| 长程连贯性 | 稳,PPL 不炸 | 稳(训练保证) | 较稳 | 最好 |
| 精确远程召回 | 无 | 无 | 部分(看 token 重要性) | 有 |
| 工程侵入 | 改缓存索引,极小 | 模型架构定型 | 驱逐与 kernel 复杂 | 训练与推理成本都高 |
表里最能体现 StreamingLLM 身位的是第一行:它是唯一对任何现成的、按全量注意力预训练的开源模型开箱即用的方案。这正是它 2023 年底发布后迅速被 llama.cpp、vLLM 生态(以及大量边缘侧部署)吸收的原因——不需要等模型厂商重新训练,拿来就能把一个普通模型变成「无限流式模型」。与 滑窗注意力与 KV 缓存 讲的训练期路线相比,两者甚至不互斥:一个训练期带滑窗的模型,推理期再叠 sink 保护,依然能进一步稳住超长输入。
往深处再看一层,StreamingLLM 真正的遗产是把「注意力分布的结构性先验」变成了系统设计的输入。在它之前,KV 缓存管理被当成纯系统问题(容量、带宽、换页);在它之后,大家意识到缓存里每个 token 的价值天差地别,而且这个价值可以从注意力分数里读出来——H2O 按累计注意力分驱逐、SnapKV 按观测窗分数选关键 token、Quest 按页粒度做动态稀疏,全都是这条思路的下游。就连模型设计侧也被反哺:后续一些架构直接引入专用的 sink token(或全局寄存器 token),把「分数垃圾桶」从涌现现象变成显式结构。
最后给一个实务清单收尾。部署侧:sink 数量取 4 起步、窗口按显存预算和业务的相关性跨度定(对话场景 1K 到 4K 常见);RoPE 位置必须按槽位编号而非全局编号,接第三方 kernel 时这是第一检查点;驱逐是确定性的,可以和连续批处理(continuous batching)直接叠加。排障侧:如果接完后发现输出在长输入后突然劣化,先查 sink 位是不是被某次缓存重排(prefix cache 复用、分页换出)连带驱逐了——sink 保护必须在缓存生命周期的一切操作里保持传递性,这是线上最常见的翻车点。
这一篇在知识体系里的位置
本篇是 LLM 推理优化系列里「KV 缓存管理」支线的现象学起点:正前方是 滑窗注意力与 KV 缓存(训练期滑窗的对照路线)和 KV 缓存驱逐之 H2O 策略(把「分数即价值」思想推广成动态驱逐的直接下游);上游基础是注意力机制与 RoPE 位置编码的基本功——不理解 softmax 归一化和因果掩码,attention sink 就只是个玄学现象。建议阅读顺序:先回忆标准解码期 KV 缓存的增长模型,再用本篇第二节的 sink 现象建立直觉,然后按第四节的能力账本判断自己的任务落在适用域哪一侧,最后按第五节的表格在兄弟方案里做选型。
总结
Attention Sink 流式推理的关键洞察是:预训练大模型受 softmax 归一化与因果掩码的结构性驱动,会把无处可去的注意力分数天然汇聚到序列最开始的几个 token 上,这些 sink token 虽无语义却扛着归一化账本的大梁——朴素滑窗丢掉它们导致 PPL 悬崖爆炸,而 StreamingLLM 用「4 个 sink 位永驻加最近窗口滚动、RoPE 位置按槽位编号」的恒定大小缓存,让任何现成的全量注意力模型免微调稳定处理数百万 token 的流式输入,代价是中间历史被确定性丢弃,因此它适用于语流连贯型流式任务而非精确远程召回,并开创了「从注意力分布读缓存价值」这一整条 KV 管理方法论。