NSA 原生稀疏注意力:压缩、选择、滑动三分支如何对齐训练与 kernel
更新时间:2026-10-05。前面 FlashAttention 显存分块 讲过全量注意力怎么靠 tile 化把内存访问量压下去,KV cache 推理内存账 算过长上下文下 KV cache 怎么吃掉显存。但这两篇都有个没说破的前提:每个 query 还是要和所有历史 token 的 key-value 打交道,序列一长,注意力本身就成为算力和带宽的双重瓶颈。NSA(Native Sparse Attention,原生稀疏注意力)是 DeepSeek 在 2025 年给出的回答:别在推理时事后剪枝,从预训练第一天起就让模型学着只看该看的 token。这一篇讲清 NSA 的压缩、选择、滑动三分支结构,为什么「训练对齐」是它和一切事后稀疏方案的分水岭,以及它的 kernel 设计为什么能在真实硬件上拿到速度而不是只停在 FLOPS 账面上。
本文要回答的问题
- 全量注意力在长上下文下的真实瓶颈是什么,事后稀疏(推理期剪枝)为什么总是掉点?
- NSA 的压缩、选择、滑动三条分支各自看什么、漏什么,门控怎么把三者缝起来?
- 「原生可训练」具体指什么:梯度怎么流过不可导的 top-k 块选择?
- 为什么块选择天然匹配 GQA 的 KV 共享结构和 tensor core 的连续访存胃口?
- NSA 相对全量注意力和其他稀疏方案,速度账和质量账各是多少?
一、长上下文的注意力瓶颈:不是算不起,是喂不起
先把问题摆清楚。标准注意力在 decode 阶段每生成一个 token,都要把当前 query 和全部历史 key 做内积、softmax、再加权求和 value。序列长度到 64K 时,单次 decode 要读 64K 条 KV;到 128K 再翻倍。这个环节是彻底的内存带宽受限:算术强度(每读一字节做多少 FLOP)极低,H100 上 decode 注意力常常只吃到理论算力的百分之几,时间全花在等 HBM 把 KV 搬过来。这正是 KV cache 推理内存账 里那笔账的另一面——KV cache 不只是占显存,它还是每步 decode 必须全量扫一遍的「活数据」。
直觉的解法是稀疏化:大部分 token 的注意力权重本来就接近零,只看 top 的那一小撮不就行了?这正是事后稀疏方案(H2O、StreamingLLM、Quest 等)的思路。但它们普遍有一个共同的软肋:稀疏模式是推理时硬塞给模型的,模型训练时没见过。一个在全量注意力下训练出来的模型,它的某些 head 可能就靠那几个看起来权重不高的远程 token 传递关键信息(比如「大海捞针」任务里的那根针),你按权重阈值砍掉,质量就塌一块。Quest 这类方法在检索类基准上保得住,在需要全局聚合的任务上照样掉点,原因就在这里。
NSA 的判断很直接:稀疏不该是推理期的外挂优化,而是模型能力的一部分。让模型在预训练阶段就用稀疏注意力算 loss、反传梯度,它自己会学会「把重要信息写进容易被选中的 token 里」。这就是「原生」(Native)二字的全部含义——原生可训练、原生硬件对齐。
上图是两条路线的分岔:事后剪枝的质量取决于「训练出来的权重分布碰巧和剪枝规则合不合」,这是个赌运气的事;NSA 把稀疏结构变成训练目标的一部分,合不合由梯度说了算。
二、三分支结构:压缩看全貌、选择抓细节、滑动管局部
NSA 的每个注意力层不是一条路,而是三条并行的分支,各自产出一份对历史 token 的加权表示,最后由一个可学习的门控(gate)按标量权重相加。三条分支看的都是同一份 KV 历史,但粒度截然不同。
**压缩分支(Compression)**负责「粗略看全貌」。它把连续的一段 token(比如 32 个)的 key 用一个可学习的 MLP 压成一个「压缩 key」,64K 的历史于是变成 2K 个压缩 token。query 和这些压缩 key 做注意力,相当于快速扫一遍全文的摘要。压缩是有损的,但正因为有损,它逼着模型把每个块的全局语义浓缩进去——这个分支保证没有任何一段历史被彻底遗忘,哪怕它稀疏到只剩 1/16 的分辨率。
选择分支(Selection)负责「精确抓重点」。它按块(block,比如 64 个 token 一块)给历史打分,用 top-k 选出最重要的 n 个块,query 只和这些块里的原始、未压缩的 token 做注意力。有意思的是打分依据:NSA 直接用压缩分支的注意力分数来排序——压缩分支既然看了全貌,它的注意力分布天然就是「哪些块值得细看」的免费侦察兵,不用额外训练打分器。
**滑动窗口分支(Sliding Window)**负责「局部连贯」。语言里大量依赖是局部的:指代、语法、最近几句话的承接。这个分支固定看最近 512 个 token 的原始 KV,和 滑动窗口注意力 讲的机制同源,保证近距离信息永远以全分辨率可见,不受前两个分支的取舍影响。
门控是逐 head、逐 token 可学习的三个标量(经 softmax 归一),训练完通常呈现出清晰分工:有的 head 门控偏向压缩分支,成了「全局语义 head」;有的偏向滑动窗口,成了「局部语法 head」。这套分工不是人工指定的,是梯度自己搜出来的。三个分支合起来的实际计算量约为全量注意力的 1/10 上下(取决于块大小和 top-k 配置),但信息覆盖是「全局有损加局部无损加重点无损」的组合——比任何单一稀疏模式都接近全量注意力的表达能力。
三、原生可训练:梯度怎么流过不可导的 top-k
三分支里最「硬」的一处是选择分支:top-k 选块是个离散操作,不可导,梯度过不去。NSA 的解法和 MoE 路由的思路神似——选择本身不反传,但被选中块内的注意力计算全程可导。也就是说,第 t 步选了哪些块由前向决定,一旦选定,query 和这些块 token 之间的注意力权重照常参与 softmax、照常反传;压缩分支的 MLP 参数、门控权重、以及「通过压缩分支分数间接影响块排序」的那条链路,全部能收到梯度。
这个设计带来一个不太显眼但关键的性质:压缩分支和选择分支是互相训练的。压缩 MLP 想要梯度好,就得让自己产出的压缩 key 在注意力里给出「能选对块」的分数;选择分支想要信息足,就得依赖压缩分支把侦察工作做对。两个分支在同一份 loss 下协同进化,这和事后方案里「打分器和注意力各练各的」有本质区别。
对比一下几种稀疏路线在「训练对齐」这个维度上的站位:
| 方案 | 稀疏时机 | 训练是否参与稀疏 | 长上下文质量 | 硬件友好度 |
|---|---|---|---|---|
| 全量注意力加 FlashAttention | 不稀疏 | 无 | 基准线 | 高(kernel 成熟) |
| StreamingLLM / 滑动窗口 | 推理期固定窗口 | 无 | 局部好 全局遗忘 | 高 |
| H2O 等 KV 驱逐 | 推理期按权重剪 | 无 | 中 依赖权重分布运气 | 中(访存不规则) |
| Quest 页选择 | 推理期 top-k 页 | 无 | 检索类好 聚合类掉 | 中高 |
| NSA 原生稀疏注意力 | 预训练即稀疏 | 全程参与 | 持平甚至超全量 | 高(块级连续访存) |
表里最后一行是 NSA 论文里最硬的结论:在 64K 序列的多个长上下文基准上,NSA 预训练模型不但没掉点,在部分任务上反超同等预算的全量注意力基线。直觉解释是稀疏起了「注意力正则化」的作用——强迫模型把信息路由到少数高带宽通道,反而抑制了对噪声 token 的过拟合。
四、硬件对齐:块选择为什么天生配 tensor core
稀疏注意力喊了很多年,真正卡在落地的一直是「FLOPS 省了,wall-clock 没省」。不规则的 token 级稀疏(比如逐 token top-k)在 GPU 上是灾难:每条 query 要 gather 一撮地址乱跳的 KV,tensor core 的连续块加载优势全废,实际速度常常比稠密 kernel 还慢。注意力 kernel 优化版图 里讲过这个反复出现的教训:稀疏度的账面收益必须除以访存规则性的损耗。
NSA 从结构上绕开了这个坑,靠的是两个刻意选择。
第一,稀疏粒度是块不是 token。选择分支选的是 64 个连续 token 组成的块,块内 token 的 KV 在显存里地址连续。top-k 选完,加载的就是 n 段连续内存,tensor core 可以像吃普通 tile 一样整块整块地算——这正是 FlashAttention 显存分块 里 tile 化思想的自然延伸,只是 tile 的来源从「顺序切分」变成「选出来的块」。
第二,选择按 GQA 的 query 组共享块。现代模型普遍用 GQA(分组查询注意力,多个 query head 共享一份 KV,见 GQA 与 MQA 的 KV 节省账),NSA 规定同一组内所有 query head 选同一批块。这样一次块加载喂一组 head,把 decode 阶段原本「逐 head 扫 KV」的内存访问合并成「逐组扫选中块」,算术强度直接乘以组大小。论文里的 decode kernel 正是围绕这个组织方式写的:把组内 head 排进 tensor core 的 tile 维度,选中的 KV 块流式进 shared memory,一次加载多头复用。
上图左侧是 NSA 的访存路径,右侧是 token 级稀疏的死路。效果数字很能说明问题:DeepSeek 报告在 64K 上下文上,NSA 的前向、反向和 decode 三个阶段相对高度优化的全量注意力 kernel 都拿到数倍加速,且序列越长加速比越大——因为稀疏度随长度上升而全量成本线性上涨。这里要注意一个细节:加速的对手不是朴素实现,而是 FlashAttention 级别的成熟 kernel,所以这个加速比是真金白银的 wall-clock,不是学术账面上的 FLOPS。
五、kernel 含义与工程账本:这套结构给系统侧留了什么作业
NSA 的结构对 serving 系统提出了几个具体的工程问题,值得单独摆一摆。
KV cache 的形态变了。压缩分支需要维护一份「压缩 KV」——每 32 个 token 过一遍压缩 MLP 的产物,它是额外的一份缓存(虽然小,约为原始 KV 的 1/16)。系统要管两份 KV:原始 KV 供选择和滑动分支用,压缩 KV 供全局扫描用。好在压缩 KV 是滑动产生的,prefill 时可以流水线生成,不增加 TTFT 的串行段。和 KV cache INT4 量化 这类正交手段还能叠加——选择分支读到的原始 KV 照样可以量化存。
prefill 和 decode 的 kernel 不是同一个。prefill 阶段 query 是成块的,压缩、选择、滑动可以全部 tile 化并行,训练时的前向反向都走这条路;decode 阶段每步只有一个 query,瓶颈全在 KV 加载,走第四节说的「组级选块加流式加载」路径。这和 FlashDecoding 的分裂归并思路 在精神上相通:decode 的并行度不够,就从 KV 维度上找。
门控与选块的动态性给批调度出了个小题。不同请求在同一时刻选中的块集不同,连续批处理(continuous batching)里无法把多个请求的注意力计算合并成一个大 GEMM,只能逐请求(或按块集分桶)执行。这削弱了 batch 维度的合并收益,换来的是每请求 KV 访问量降一个量级——在 HBM 带宽是硬约束的 decode 场景,这个交换几乎总是划算的,但它意味着 NSA 的 serving 栈不能照抄 vLLM 的 kernel 调度假设。
训练成本账也要算全。NSA 省的是「注意力的二次项」,FFN 部分照原价,所以端到端训练加速比低于注意力层的加速比;论文在 27B 规模的实验里报告了可观的训练吞吐提升,但这个数字强依赖稀疏配置(块长 l、压缩率 d、top-k 块数 n、窗口 w)。实务上这组超参是个显式权衡:压缩率越高越省,但压缩分支的信息损失越大;top-k 块数决定选择分支的「带宽」。DeepSeek 的默认配比(压缩块 32、滑动 512、选择块 64 配 top-16 量级)是在 64K 训练序列上调出来的,迁移到别的长度预算要重新校。
上图把第五节的四条工程含义收成一张图:左右两条计算路径(prefill 与 decode)形状不同,底下是它们共同压给 serving 系统的作业,超参面则同时约束两侧。理解这张图,基本就拿到了评估「我们的推理栈要不要上 NSA」的清单。
这一篇在知识体系里的位置
本篇是 LLM 推理架构系列里「注意力稀疏化」这条线的收口篇:上游是 FlashAttention 显存分块(全量注意力怎么算得快,NSA 的块加载直接继承这套 tile 化手艺)、KV cache 推理内存账(长上下文成本的来源)和 滑动窗口注意力(NSA 第三分支的原型);同层对照 GQA 与 MQA 的 KV 节省账(NSA 组级选块依赖的 KV 共享结构)、MLA 多头潜注意力(DeepSeek 另一条 KV 压缩路线,与 NSA 正交可叠加)和 注意力 kernel 优化版图(稀疏化在 kernel 侧的全部历史教训);下游是 FlashDecoding 分裂归并 和 KV cache INT4 量化(与 NSA 叠加部署时的 decode 侧配套)。
阅读顺序建议:先建立「decode 注意力是带宽受限」的直觉(KV cache 内存账那篇),再看滑动窗口与 GQA 这两块积木,最后回到本篇看 NSA 怎么把三块积木缝成一个可训练的整体——能讲清「为什么 top-k 不可导但整条链路照样有梯度」,这篇就算读透了。
总结
NSA 原生稀疏注意力用压缩(32 token 压 1,全局有损扫描)、选择(复用压缩分数做块级 top-k,重点块原始精度细读)、滑动窗口(最近 512 token 全分辨率)三条分支加可学习门控,把稀疏模式变成预训练目标的一部分——top-k 虽不可导,但选中块内的注意力计算全程可导,模型因此学会把关键信息写进会被选中的 token,长上下文质量持平甚至反超全量注意力;同时块级稀疏粒度加 GQA 组级共享选块让访存保持连续,在 64K 上下文上相对成熟的全量 kernel 拿到数倍 wall-clock 加速,代价是 serving 侧要管原始与压缩双份 KV、接受块集分桶对 batch 合并的削弱——这是「训练对齐加硬件对齐」两头都做对的稀疏注意力第一次同时赢下质量账和速度账。