注意力算子优化全景:FlashAttention 1/2/3 与 FlashDecoding 的取舍地图
更新时间:2026-10-02。这是一篇枢纽文:站内已经有多篇注意力 kernel 的长尾深文——FlashAttention 显存分块、decode 侧 split-K 与 FlashDecoding、GQA/MQA 对 KV 的结构性压缩、PagedAttention 与 vLLM、Transformer 注意力 kernel 的硬件视角——每一篇都深挖一个点。这篇换到俯视视角:把注意力算子优化这个赛道整条演进线摊开,回答一个工程上最实际的问题——面对一个具体负载,我该用哪一代 kernel,为什么。
本文要回答的问题
- 朴素注意力实现慢在哪?瓶颈到底是算力还是带宽?
- FlashAttention v1 用 tiling 加 online softmax 省掉了什么,数学上为什么严格等价?
- FlashAttention 2 相对 v1 改了哪几处,为什么 GPU 利用率能从三成多翻到七成?
- FlashAttention 3 绑死 Hopper 架构换来了什么,FP8 路径的坑在哪?
- decode 阶段 batch 小、query 只有一行时,FlashDecoding 和 split-KV 怎么把 SM 填满?
- prefill / decode / 长上下文 / 低精度,四类场景各该选哪条路?
一、先定性:注意力是带宽瓶颈,不是算力瓶颈
讨论注意力算子优化之前,必须先建立一个反直觉的事实:标准注意力在 GPU 上跑不快,主要不是因为 FLOPs 太多,而是因为显存搬太多。
以 batch=8、序列长 4096、16 头、头维 64 的 FP16 注意力为例。Q、K、V 三个矩阵各 64 MB 量级,这还不算大;真正的麻烦是中间产物——S = QK^T 是一个 8×16×4096×4096 的分数矩阵,FP16 下约 4 GB。朴素实现的流程是:把 S 完整写回 HBM,再读出来做 softmax,再写回去,再读出来乘 V。一来一回,光 S 矩阵就要在 HBM 上往返两三次,搬运量是十几 GB。A100 的 HBM 带宽约 1.6 TB/s,这十几 GB 要跑接近 10 毫秒;而这些数据的实际计算量摊到 312 TFLOPS 的 FP16 算力上不到 2 毫秒。读写时间是计算时间的好几倍,SM 大部分时间在等数据。
用 roofline 的语言说:朴素注意力的算术强度(arithmetic intensity,每搬一个字节能做几次浮点运算)只有十几到几十,而 A100 的「平衡点」在 200 FLOP/byte 左右——算术强度低于平衡点的 kernel 注定被带宽卡住,堆再多 Tensor Core 也没用。对照组是矩阵乘:QK^T 本身的算术强度很高,问题全部出在「把 S 写出来再读回去」这个动作上。
这个定性结论决定了整条优化路线的方向:注意力算子优化的主线不是「把矩阵乘算得更快」,而是「根本不要让那个 N×N 的中间矩阵落地」。FlashAttention 家族三代演进,全部围绕这一条主线展开;区别只在于每一代把「不落地」这件事推到了什么程度、又顺带解决了什么新瓶颈。
上图是朴素实现的搬运链。注意每一步的输入都是上一步刚从 HBM 读回来的——这是典型的 memory-bound 形态。对应的硬件背景(HBM 为什么又贵又慢、为什么容量是硬约束)可以对照 GPU 显存 HBM 与 GDDR 和 GPU 显存层次与带宽 两篇。
序列长度还在往上涨,这个矛盾只会更尖锐。2022 年主流模型上下文是 2K~4K,2026 年 128K 已经是标配、1M 级别的也不罕见。S 矩阵随序列平方增长:长度从 4K 涨到 128K,S 大一千倍,从 GB 级涨到 TB 级——任何让 S 落地的方案在长上下文时代都直接出局,哪怕它在小尺寸上更快。这就是为什么说理解 FlashAttention 不是「学一个优化技巧」,而是理解长上下文时代的注意力在硬件上的唯一可行形态。反过来说,只要看到某个新注意力变体(滑窗、稀疏、线性注意力)宣称更快,第一个该问的问题就是:它落地到 HBM 的字节数是多少?
二、FlashAttention v1:用 tiling 加 online softmax 让 S 永不落地
2022 年 FlashAttention 论文的核心贡献一句话:把 Q、K、V 按块切小,每次只把一小块 K/V 搬进 SRAM(shared memory),在 SRAM 里完成这一块对输出的全部贡献,用在线 softmax(online softmax)滚动修正,整个 N×N 矩阵从头到尾不写 HBM。
这里有一个数学障碍要先跨:softmax 是全局运算,分母需要对整行分数取 exp 求和,按理必须看到全行才能算。online softmax 的解法是维护两个运行量——到目前为止见过的最大值 m 和归一化和 l。每处理一个新块,先算这块的局部分数,与 m 比较得到新最大值 m',然后把历史累加器按 exp(m - m') 缩放,再并入新块的贡献。所有块遍历完,m 就是全局最大值、l 就是全局分母,结果与一次性 softmax 逐位等价(浮点舍入差异除外)。这套技巧站内 FlashAttention 显存分块 有逐公式推导,softmax 本身的 warp 级实现见 CUDA warp 归约与 softmax。
效果:HBM 访问量从朴素实现的 O(N²) 降到 O(N²·d²/M)(M 是 SRAM 容量),实测 4096 长度下读写量减少约 9 倍,端到端训练速度提升 2~4 倍,BERT-large 训练提速 15%、GPT-2 提速 3 倍量级。而且省显存——朴素实现要 4 GB 装 S,FlashAttention 只要几十 MB 装块和累加器,这是长上下文能训起来的前提之一。
有一个常见误解要澄清:online softmax 的滚动缩放会不会引入额外数值误差?答案是与直接两遍法在同一量级——两者都是浮点运算,FA 论文给出的误差分析与实测都表明前向输出的偏差在 FP16 正常噪声范围内,反向梯度也稳定。真正要注意的是另一个方向:因为用了 running max rescale,中间结果的下溢行为略有不同,极低概率的 token 分数可能更早被压成零,实践中从未观测到可测的质量回退,但做逐位对拍(bitwise diff)验证时不要期待与朴素实现完全一致,预期应是「误差在容忍带内」而不是「逐位相等」。
还有两个常被忽略的设计点值得记下。一是反向传播不重读 S:训练时前向不算完的 S 已经扔掉了,反向需要它怎么办?FA1 的答案是存下每行的 (m, l) 两个统计量,反向时在 SRAM 里用 Q、K 当场重算这一块的 S——重算花的是算力,省下的是带宽,在带宽瓶颈的世界里这是稳赚的交易,这个「recomputation」思想后来也被各种 activation checkpointing 方案沿用。二是块长怎么定:块长受 SRAM 容量约束(A100 每 SM 可用约 164 KB),太长装不下、太短 HBM 突发效率低且 exp 等非矩阵乘运算占比上升,实现里按头维自动选 64 或 128 行,这是工程上反复调出来的甜点,不是理论推导的结果。
但 v1 留了尾巴。实测它在 A100 上只能吃到理论峰值的 25%~35% 左右——比朴素实现快得多,离硬件上限还很远。问题出在两个地方,而这两个地方正是 v2 的靶子。
三、FlashAttention 2:把并行度从 batch×heads 扩到序列维
先说清楚「只吃到 25%~35% 峰值」在工程上意味着什么:模型越大,注意力在总训练时间里的占比越高(长上下文模型可达 40% 以上),kernel 利用率从 35% 提到 70%,等效于整段训练时间打八折——对一个万卡月级的大模型训练,这是百万美元量级的账单差异。所以 v2 的动机不是学术打磨,是真金白银。
v1 的第一个问题:并行维度不够。v1 只在 batch 维和 head 维上开 block,一个 (batch, head) 对占一个 SM 从头算到尾。A100 有 108 个 SM,当 batch×heads 小于这个数字(decode 场景太常见了:batch=4、8 头,只有 32 个并行单元),三分之二以上的 SM 在睡觉。
v2 的改法是把 Q 的序列维也切开并行:每个 block 负责一段 Q 行,独立算完自己的输出。因为 online softmax 里每个 Q 行的归一化只依赖这一行见过的 K/V,行间互不干扰,这个切分天然正确。长序列下并行单元从 batch×heads 变成 batch×heads×(N/块长),SM 占用率直接拉满。
第二个问题:warp 分工粗糙。v1 把 K/V 块切给不同 warp,warp 之间要反复经 shared memory 交换中间结果、做同步,开销不小。v2 反过来切:Q 块分给各 warp,K/V 全块广播给所有 warp,每个 warp 独立算自己那段 Q 的完整输出——warp 间通信几乎归零,只剩 warp 内的寄存器级 shuffle。再叠上若干微优化(减少非矩阵乘 FLOPs 的占比、更好的寄存器分配),v2 在 A100 上达到理论峰值的 50%~73%,相对 v1 又快了约 2 倍。
上图把两代的并行策略放在一起对比。要点是:v2 没有改任何数学,改的只是「把同一份计算拆给更多人同时干」。这也是为什么 v2 很快成为各家训练/推理框架的默认注意力后端——它几乎是无脑替换的正收益。
warp 分工的细节也值得展开,因为它是「同一个数学、不同硬件映射」的教科书案例。v1 里每个 warp 负责 K/V 的一块切片,这意味着每个 warp 只算出部分分数,行最大值和分母要跨 warp 汇总——走 shared memory、加 barrier,每个块循环一次就要同步若干次。v2 改成每个 warp 拿 Q 的若干行、扫完整条 K/V,行内统计量全在自己手里,跨 warp 通信从「每个内循环一次」降为「零」。代价是每个 warp 都要看到完整的 K/V 块,对 shared memory 的读带宽需求上升,但 K/V 块本来就是大家共享的只读数据,广播读在硬件上是免费的。再叠加一个不那么性感但很有效的优化:v1 里 exp、缩放这类非 GEMM 运算占了大头(A100 上非矩阵乘单元的吞吐只有 Tensor Core 的十几分之一),v2 重排了运算顺序,把能并进矩阵乘的缩放都并进去,非 GEMM FLOPs 占比明显下降。
四、FlashAttention 3:把 Hopper 的异步硬件榨干
v2 把 SM 占用率拉满了,但单个 SM 内部还有空转:H100(Hopper 架构)的 Tensor Core 算矩阵乘时,负责搬数据的单元在等;搬数据时 Tensor Core 又在等。FA3(2024 年发布)的主题就是用 Hopper 特有的异步硬件把这些空转填平,三板斧:
- 生产者-消费者 warp 专门化(warp specialization):一部分 warp 专职当生产者,用 TMA(Tensor Memory Accelerator,Hopper 的异步批量拷贝引擎)往 shared memory 搬下一块 K/V;另一部分 warp 专职当消费者,驱动 Tensor Core 算当前块。两条流水线并行,搬运与计算重叠。这套模式的通用写法站内 warp 专门化流水线 有详细拆解。
- GEMM 与 softmax 块间重叠(pingpong):softmax 的逐元素运算和 Tensor Core 的矩阵乘用的是不同的硬件单元,FA3 把「第 j 块的 softmax」与「第 j+1 块的 QK^T」交错排进同一 SM,两类单元同时有活干。
- FP8 路径:Hopper 的 FP8 Tensor Core 吞吐是 FP16 的两倍,FA3 用块级量化加非相干处理(incoherent processing,用随机正交变换打散异常值)压住量化误差,FP8 下数值误差比朴素 FP8 注意力低约 2.6 倍。
用一张流水线视图看 FA3 的时间轴会更直观:传统实现里「搬下一块 K/V」「算当前块 QK^T」「对上一块分数做 softmax」三件事串行排队,硬件单元轮流空闲;FA3 让它们在同一时刻分别占用 TMA 拷贝引擎、Tensor Core、向量单元三路硬件,SM 的「墙壁时间」被压缩到接近三路里最慢那一路的时间。
三板斧合起来,FA3 在 H100 上 FP16 跑到 740 TFLOPS(理论峰值的 75%,是 v2 的约 1.5~2 倍),FP8 逼近 1.2 PFLOPS。代价也很直接:深度绑定 Hopper 指令集——TMA、wgmma 这些玩意儿在 A100 和更早的卡上不存在,FA3 的代码在老硬件上根本编不过;FP8 路径的收益依赖逐块标定,接入框架时校准流程比 FP16 麻烦。还有一个隐性成本:FA3 的代码复杂度比 v2 高一个台阶,异步流水线的正确性依赖精细的 barrier 排布,社区把它移植到新硬件(如 Blackwell 的 tcgen05)或新形状(如变长序列的 varlen)时都要重做一遍流水线调度,升级周期明显长于 v2 时代——选它就要接受「跟上游版本绑得紧」的维护成本。
| 维度 | FlashAttention v1 | FlashAttention 2 | FlashAttention 3 |
|---|---|---|---|
| 核心改动 | tiling + online softmax,S 不落地 | 序列维并行 + warp 分工重构 | Hopper 异步重叠 + FP8 |
| A100/H100 峰值利用率 | 25%~35%(A100) | 50%~73%(A100) | 75% FP16(H100) |
| 硬件要求 | 任意较新 GPU | 任意较新 GPU | 仅 Hopper(H100/H200)起 |
| 低精度 | FP16/BF16 | FP16/BF16 | 新增 FP8 路径 |
| 适用阶段 | prefill/训练 | prefill/训练(默认选择) | prefill/训练(H100 上最优) |
五、decode 的另一片天:FlashDecoding 与 split-KV
注意上面三代都是围绕「Q 很长」的场景优化的——训练和 prefill 阶段 Q 有成百上千行,切 Q 的序列维就能凑够并行度。decode 阶段完全是另一个世界:每个请求每步只生成 1 个 token,Q 只有 1 行,要 attending 的 K/V 却可能有几千上万个 token。此时按 Q 切没东西可切,并行单元又回到 batch×heads 个,小 batch 时 SM 大量闲置;而且每个 SM 上要串行读完几千个 K/V 块,延迟被读带宽顶死。
FlashDecoding(以及思想相同的 split-KV / split-K)的做法是反过来切 K/V:把长 KV 序列切成若干段,每段派一个并行单元独立做局部注意力,各自算出该段的局部输出和局部归一化量 (m_seg, l_seg);最后加一个很轻的归约 kernel,把各段按 online softmax 的合并规则(以各段最大值为权重做缩放求和)拼成最终输出。数学上依然严格等价——online softmax 的结合律保证了任意分段合并都得到同一结果。站内 decode 侧 split-K 与 FlashDecoding 有完整的分段公式和归约流程。
关键工程细节是段数怎么选:段太少填不满 SM,段太多归约开销和启动开销吃掉收益。FlashDecoding 的实现按「KV 长度 ÷ 目标每段长度」和「空闲 SM 数」动态定段数,小 batch 长上下文 decode 延迟因此能降 2~8 倍(取决于 batch 有多小、上下文有多长)。
值得强调的是 split-KV 的收益曲线形状:batch 很大时它几乎无收益——SM 本来就满,切段只平添归约;batch 越小、KV 越长,收益越陡。所以实际引擎里段数通常是「按 step 动态算」的:continuous batching 下每个 step 的 batch 构成都在变,上一秒 64 条请求在跑、下一秒只剩 12 条长请求收尾,段数跟着变才能一直贴着 SM 占用率的甜点。这也意味着 split-KV 天然和调度层耦合——调度器换批次构成,kernel 配置就要跟着调,这不是一个「写完就忘」的算子。
另一个容易混淆的点:split-KV 和投机解码(speculative decoding)、多查询的 tree attention 不是替代关系。投机解码一步验证多条候选 token,Q 从 1 行变成几行到十几行,这时候纯粹按 KV 切未必最优,现代实现会在「切 Q」和「切 KV」之间按形状选混合策略——这也是为什么各引擎的 decode kernel 往往是一个带形状 dispatch 的家族,而不是单一 kernel。现代推理引擎(vLLM、TensorRT-LLM、SGLang)的 decode 路径全部是这一类 split-KV 变体,常和 PagedAttention 的分页 KV 叠加:先按块表定位物理块,再在块序列上做 split。另外别忘了结构性手段:GQA/MQA 把 KV 头数从几十压到个位数,decode 每步的 KV 读取量直接除以 GQA 组数,和 split-KV 是乘法关系,不是二选一。
六、取舍地图:按场景选 kernel
到这里可以把整条线收成一张决策图。先分清你处在哪个阶段,再看硬件和约束:
再把四类典型负载的「收益来源」各自点透,避免按印象选型。训练/大批量 prefill:瓶颈是大块 GEMM 的效率,收益来自 v2 的序列维并行和 v3 的异步重叠,选最新可用代数即可;服务端 decode:瓶颈是每步读全量 KV 的带宽,第一收益是 GQA/KV 量化这类「让 KV 本身变小」的手段,第二才是 split-KV 把读摊到更多 SM;单卡长文本离线批处理:batch 小、KV 极长,split-KV 收益最大,甚至可以叠加 KV 卸载到 CPU 内存的分级方案;边缘端短序列:SM 和带宽都不紧张,kernel 代数差异常常测不出来,选框架默认、把精力省下来更重要。
几条落地经验值得单独说。其一,别用 decode kernel 跑 prefill:长 prompt 进来时 Q 很长,split-KV 的归约开销是纯浪费,prefill 就该走 FA2/FA3;这也是 chunked prefill(见 chunked prefill 与 PD 分离)把 prefill 切块和 decode 混排时,kernel 层面要按块的属性分别派发的原因。其一补一条更基础的:先确认因果掩码(causal mask)走了快路径。自回归解码的注意力带下三角掩码,FA 系列对 causal 场景只计算下三角块、天然省一半 FLOPs,但有些接入方式会把掩码当通用 mask 传进去,快路径失效、白白多算一倍,profiler 里表现为同形状下耗时是预期的两倍——这是实际生产里出现频率最高的「注意力变慢」原因之一。
其二,FA3 不是免费升级:它的收益高度依赖 Hopper 的异步单元占比,在计算密度已经很高的形状上提升有限,接入前先在自己的负载形状上 profile,别按论文峰值数字做容量规划。其三,框架抽象层正在抹平选择成本:PyTorch 的 SDPA、Triton 模板(见 Triton kernel 自动调优)、各推理引擎的后端 dispatch 都会在运行时按硬件和形状自动选 kernel,手写 CUDA 注意力在 2026 年已经没有工程合理性——但看不懂这张地图,你连「框架为什么给我选了这个、为什么没达预期」都诊断不了。RoPE 外推到长上下文时 kernel 侧还有形状上的配合问题,见 RoPE 与长上下文扩展。
最后补一个排障视角,因为「注意力慢」的工单十有八九落不到 kernel 本身。症状是 attention 耗时占比异常,先按顺序排:一看是不是被退回到了朴素实现(mask 类型不支持、head dim 不是 8 的倍数、dtype 组合不在 fast path 名单里,框架都会静默 fallback,日志里未必有字样,用 profiler 看 kernel 名最可靠);二看 varlen 场景的总 token 数是不是被 padding 虚增,变长 batch 没用 varlen 接口时白算的 token 可能占一半以上;三看是不是 decode 阶段 batch 太小又没开 split-KV;四看 KV cache 显存管理是不是逼出了过小的 batch(这就回到 PagedAttention 的领地了)。kernel 代数的选择只在排完这四条之后才真正影响数字——先把「跑在哪条路径上」确认清楚,再谈「这条路径选哪代 kernel」,顺序反了就是无效调优。
这一篇在知识体系里的位置
本篇是「注意力 kernel」簇的枢纽:向下钻,FlashAttention 显存分块 讲 v1 的 tiling 数学,decode 侧 split-K 与 FlashDecoding 讲 decode 路径,Transformer 注意力 kernel 的硬件视角 是 expert 层的深挖;向旁边看,GQA/MQA 与 PagedAttention 是从模型结构和显存管理两条正交线切同一个问题;向上接,推理引擎运行时调度 和 TensorRT-LLM in-flight batching 讲 kernel 之上调度层怎么把这些 kernel 喂饱。硬件底座是 GPU 显存层次与带宽。
总结
注意力算子优化的十年主线就一句话:别让 N×N 中间矩阵落 HBM——FlashAttention v1 用 tiling 加 online softmax 做到「不落地」,v2 用序列维并行和 warp 分工把 SM 填满,v3 用 Hopper 异步硬件和 FP8 把 SM 内部空转榨干,FlashDecoding/split-KV 则沿 KV 维切分解决 decode 阶段 Q 只有一行的并行度荒;选型时先分 prefill 还是 decode、再看硬件代际,GQA、分页 KV、KV 量化是与 kernel 代数正交的叠加项,全部可以同乘。