FlashAttention:SRAM 分块 tiling、online softmax 与 HBM 访问量账本
更新时间:2026-09-29。在 KV Cache 推理显存 和 PagedAttention 与 vLLM 里,我们讨论的是推理阶段 KV 缓存占显存太多、怎么分页管理的问题。但把镜头往前推一步:无论训练还是推理,注意力算子本身在 GPU 上跑的时候就有一个更底层的瓶颈——中间矩阵 S = QK^T 的大小是 N×N,序列一长,光是把这个矩阵在 HBM 和 SM 之间来回搬就把带宽吃光了。FlashAttention 要解决的正是这件事:不算更少的 FLOP,而是搬更少的数据——它自 2022 年发表后迅速成为 Transformer 训练与推理的事实标准,理解它的记账方式比记住它的 API 更重要。
本文要回答的问题
- 标准注意力的时间复杂度明明是 O(N²·d),为什么实际瓶颈不是算力而是显存带宽?
- HBM 和 SRAM 的带宽差多少,为什么「把中间结果留在片上」值这么多钱?
- online softmax 分块重算为什么数学上和一次性 softmax 完全等价?
- FlashAttention 的 HBM 访问量账本具体怎么算,比标准实现少多少?
- 反向传播不重算 S 矩阵怎么做到,代价是什么?
一、标准注意力到底慢在哪
先把标准实现的三步写出来。给定 Q、K、V ∈ R^(N×d),N 是序列长度,d 是头维度(通常 64 或 128):
S = Q @ K^T # N×N 矩阵,写回 HBM
P = softmax(S) # 逐行归一化,再写回 HBM
O = P @ V # N×d 输出教科书只告诉你 FLOP 是 O(N²·d),但 GPU 不是只算不搬的机器。N=8192、d=64、FP16 时,单个 S 矩阵就是 8192×8192×2B = 128 MiB。这个矩阵要被写出去一次、读回来做 softmax 一次、再写出去 P 一次、再读回来乘 V 一次——一个注意力头光中间结果就在 HBM 上走了 512 MiB 的流量,batch 乘头数还要再翻倍。
这就引出 GPU 性能分析里最关键的一对概念:计算强度(arithmetic intensity,每搬一个字节做多少次运算)和屋顶线模型。A100 的 FP16 峰值算力约 312 TFLOPS,HBM 带宽约 1.6 TB/s,平衡点大约在每字节 195 次运算。而 softmax、dropout、mask 这些逐元素操作的计算强度低到个位数——它们跑在带宽墙上,SM 大部分时间在等数据。注意力的真实耗时里,大头不是两个 matmul,而是中间这些 memory-bound 的操作和它们引发的 HBM 往返。
| GPU 存储层级 | 容量量级 | 带宽量级 | 类比 |
|---|---|---|---|
| HBM(显存) | 40-80 GB | ~1.6-2 TB/s(A100/H100) | 仓库,大但远 |
| SRAM(shared memory / L1) | 每 SM 192 KB(A100) | ~19 TB/s(全芯片聚合) | 工作台,小但手边 |
| 寄存器 | 每 SM 256 KB | 比 SRAM 再快数倍 | 手心里 |
表里这一行差距就是 FlashAttention 全部故事的起点:SRAM 带宽比 HBM 快约一个数量级,但容量只有 KB 级。N×N 的 S 矩阵注定放不进 SRAM,除非根本不把它完整算出来。
这里还有一个容易踩的认知误区:很多人说「注意力慢是因为 O(N²)」,这句话对训练算力账单成立,对单次 kernel 延迟却不准确。在 N=4K 到 16K 这个区间,A100 跑标准注意力的 SM 利用率往往只有 20%~40%——算力闲在那里,瓶颈卡在等 HBM 把 S/P 搬进搬出。这也是为什么把 S 的 FLOP 砍掉一半的稀疏注意力(滑窗、块状稀疏)常常加速比不如预期:它减少了计算,却没等比例减少搬运,而且稀疏 pattern 本身还破坏了 内存合并访问 的连续性。FlashAttention 反其道而行,FLOP 一刀不砍(反向重算甚至还加),全部收益都从搬运账里抠出来,结果反而拿到了稳定的端到端加速。
二、核心思路:分块 tiling + 不落地
FlashAttention 的做法用一句话说就是:把 Q、K、V 都切成小块,外层循环搬 K/V 块进 SRAM,内层循环搬 Q 块,在 SRAM 里算出这一小块对最终输出的贡献,中间矩阵永不写回 HBM。
上图里真正重要的不是箭头多,而是少了哪些箭头:对比标准实现,S 和 P 两个 N×N 矩阵的「写 HBM + 读 HBM」四条粗箭头全部消失了,取而代之的是 HBM→SRAM 的若干次小块载入(总量仍是 O(N·d))和最后 O 的一次写回。所有 softmax 的中间状态被压缩成每行两个标量—— running max m 和 running sum l,跟着 O 累加器走。
块大小怎么选?FlashAttention 论文给的经验是:Bc = ceil(M / 4d),其中 M 是每 SM 可用的 SRAM 容量。A100 上 d=64 时块大约 128×64 这个量级,四个块(Q、K、V、O 累加器)加起来刚好塞进 192 KB 还不打挤。这就是为什么 d=128 时加速比反而比 d=64 略小——SRAM 更紧张,occupancy 下降。
注意这里有一个和标准 GEMM tiling 不同的细节:外层循环遍历的是 K/V 块,内层才是 Q 块。这么安排是因为 softmax 的归一化是沿 K 的维度做的(每一行对整行 K 求和),把 K/V 放外层,意味着每个 Q 块要扫完全部 K/V 才能定稿——Q 块留在 SM 上反复用,K/V 块流式过一遍即可。这相当于把「数据复用最多的一方」固定在片上,是 memory-bound kernel 设计的通用姿势,和 数据复用与 weight-stationary 里讨论加速器数据流时的「谁复用高谁驻留」原则完全一致。
三、online softmax:分块归一化的数学依据
分块最大的障碍是 softmax:它的分母需要整行的和,而分块意味着算第 j 块时看不到整行。FlashAttention 借用了在线算法(online softmax,更早见于流式统计)的把戏:每行维护当前的 running max m 和归一化因子 l,来一个新块就「反悔」一次,把之前累计的结果按新旧 max 的比值缩放修正。
具体递推。假设已经处理到第 j 块,当前行最大值为 m_j、分母累计为 l_j、输出累计为 O_j。新块 S_{j+1} 到来后:
m_new = max(m_j, rowmax(S_{j+1}))
l_new = e^(m_j - m_new) · l_j + e^(m_{j+1} - m_new) · rowsum(...)
O_new = e^(m_j - m_new) · O_j + e^(m_{j+1} - m_new) · P_{j+1} @ V_{j+1}最后扫完所有块,O = O_last / l_last 就是精确答案。
从控制流的角度看,这个「读一块、修正一次」的循环和标准实现「先算完再归一化」是两段式与流水式的区别。每块的开销是固定的几次指数运算和向量缩放,相对块内 matmul 的 O(Br·Bc·d) 计算可以忽略,所以 online softmax 增加的纯计算成本不到 5%,换来的是中间矩阵彻底不出 SRAM。
这条流程的关键性质是数值安全且精确等价:减 running max 保证了任何 e^x 的指数都不超过 0,不会溢出(这正是标准 softmax 减最大值技巧的分块版);而每一步的 α 缩放只是把「以前按旧 max 归一化的量」换算到「按新 max 归一化」,是纯代数恒等变换,不是近似。所以 FlashAttention 的输出和标准注意力逐位接近(只差浮点舍入次序),不是近似算法——这一点和很多稀疏注意力、低秩近似方案有本质区别。对下游训练来说这意味着零风险替换:loss 曲线、收敛点、最终精度都和基线重合,不需要重新调超参,这也是它能在两年内成为几乎所有主流训练框架默认实现的关键原因。
代价也有:反向传播时没有 P 矩阵可用(根本没存),FlashAttention 选择重算——反向时按同样的分块从 Q/K/V 再算一遍 S 和 P。FLOP 增加了,但省下的 HBM 流量远超这点算力开销,这正呼应了第一节的判断:注意力是带宽瓶颈,不是算力瓶颈。
四、HBM 访问量账本
把账算细。标准实现与 FlashAttention 的 HBM 读写次数(元素个数,忽略常数小项):
| 操作 | 标准实现 HBM 访问 | FlashAttention HBM 访问 |
|---|---|---|
| 读 Q、K、V | 3Nd | 每轮外层循环读 K/V,内层读 Q,合计 O(N²d²/M) |
| 写 S(N×N) | N² | 0 |
| 读 S 做 softmax | N² | 0 |
| 写 P(N×N) | N² | 0 |
| 读 P 乘 V | N² | 0 |
| 写 O | Nd | Nd |
| 合计 | O(N² + Nd),主导项 4N² | O(N²d² / M) |
M 是 SRAM 容量(按元素计)。A100 上 d=64 时 d²/M 大约在 1/10 量级,也就是说 FlashAttention 把 HBM 访问量从 O(N²) 压到约为原来的 1/10 左右(论文实测标准实现 9~13 倍),序列越长收益越稳定,因为两边都是 O(N²) 但常数差一个数量级。而显存占用从 O(N²) 直接降到 O(N)——这是质变:N=64K 的序列标准实现的 S 矩阵要 8 GiB(单头),FlashAttention 根本不产生它。
从这张账本能直接读出 FlashAttention 的几个工程推论:第一,它对长序列收益最大,短序列(N≤512)时标准实现本来就不怎么受带宽墙限制,加速比可能只有一点几倍;第二,head 维度 d 越大,d²/M 越差,所以 d=128 的模型收益打折;第三,它和 GPU 显存层次与带宽 里讲的屋顶线分析是同一件事的两面——所有 kernel 级优化最终都落在「把计算强度抬过平衡点」这一条上。
实际跑一次数字感受会更深。GPT-2 规模、N=1024 的训练配置下,论文报告 FlashAttention 端到端加速约 3 倍、HBM 访问从 40.3 GB 降到 4.4 GB;N=4096 时标准实现的 S/P 搬运已经吃掉一半以上墙钟时间,加速比进一步拉大。更直观的证据来自 MLPerf 之外的社区复现:同样一块 A100 训 BERT-large,换 FlashAttention 后吞吐普遍涨 15%~30%,而这只是把 nn.MultiheadAttention 换成一行 scaled_dot_product_attention 的代价。收益来源拆解开,约七成来自 S/P 不落地,两成来自 kernel 融合减少 launch 与中间调度开销,剩下是更高 occupancy 带来的隐藏延迟能力。
五、工程实现与衍生版本
FlashAttention 不是「调参调好」的产物,而是一个手写 CUDA kernel(FlashAttention-2 起又加了更好的并行划分):把 softmax 的 rescale、两个 matmul、mask、dropout 全部融在一个 kernel 里,配合 CUDA thread 层次 按 thread block 划分 Q 块、warp 内做归约。它的 tiling 思想和 矩阵乘分块 一脉相承,区别是 GEMM tiling 复用的是输入块,这里复用的是「中间状态 + 累加器」。
几个值得知道的衍生事实:
- FlashAttention-2:把并行维度从「batch × heads」扩到「batch × heads × Q 块数」,长序列下 GPU occupancy 更满,比一代再快约 1.5-2 倍;同时减少了 warp 间同步和 rescale 次数。
- FlashAttention-3:针对 H100 的异步拷贝(TMA)和 FP8,把 matmul 和 softmax 用 warp-specialization 流水起来,H100 上能吃到 FP16 峰值算力的 75% 左右。
- 与 KV Cache 正交:FlashAttention 优化的是「一次注意力计算内部的搬运」,KV Cache 优化的是「自回归解码避免重复算历史 token」,两者叠加不冲突;推理框架里常见组合是 FlashAttention 算 prefill + paged KV cache 管 decode。
- 对硬件设计的影响:它用事实证明了「片上 SRAM 够快 + 软件分块」可以替代「把中间矩阵摆平放进显存」,这也是很多 NPU/加速器(见 NPU 与 TPU 架构对比)把片上 SRAM 越做越大、并内置 online softmax 硬件单元的原因。
还有一个和 CUDA 编程模型直接相关的细节值得展开:FlashAttention-2 把 Q 块之间做成完全无数据依赖的并行单元,每个 thread block 独立扫一遍全部 K/V,块间不需要任何同步——这正中了 CUDA thread 层次 里「block 间不能全局同步」的硬件约束。反向传播则反过来按 K/V 块划分并行,因为 dK、dV 的累加沿 Q 方向求和。正反向并行轴的镜像选择,是这篇论文里经常被忽略但很见功力的一笔。
实际使用上,PyTorch 2.x 的 torch.nn.functional.scaled_dot_product_attention 在满足条件(FP16/BF16、无自定义 mask 或 causal mask)时会自动走 FlashAttention 后端,不需要手写 kernel。判断自己的模型有没有吃到加速,最直接的办法是用 Nsight 性能分析 看时间线上还有没有独立的 softmax 和大量 elementwise kernel 占据注意力区间——如果那个区域只剩一个融合 kernel 在跑,就说明后端走对了。
六、常见误区与边界情况
最后把实践中反复出现的几个坑集中列一下,免得把 FlashAttention 当成银弹:
| 误区 / 边界 | 真相 |
|---|---|
| 「FlashAttention 是近似算法」 | 输出与标准 softmax 注意力数学等价,只有浮点舍入次序差异;和稀疏/低秩近似不是一类东西 |
| 「短序列也要开 FlashAttention」 | N≤512 时带宽墙本就不高,融合 kernel 的常量开销可能抵消收益,实测可能打平 |
| 「反向不用存 P 所以反向也一定快」 | 反向靠重算 S/P 换显存,FLOP 增加约 20%~30%;带宽不是瓶颈的短序列场景反向收益有限 |
| 「开了 FlashAttention 显存就够用了」 | 它只消掉 S/P 的 O(N²) 部分;激活值、KV cache、优化器状态照旧,长序列训练还得配合梯度检查点 |
| 「任何 mask 都支持」 | 官方 kernel 主打 causal 和无 mask;自定义任意 mask 需要 FlexAttention 或 xFormers 这类变体,否则退回标准实现 |
| 「d=256 的大头维度也加速」 | d 越大 SRAM 越挤,块只能切小,d²/M 比值恶化,d=128 以上加速比明显下降 |
把这些边界记牢,工程上就能避免两类翻车:一类是期待翻车——在本来就 compute-bound 的短序列上期待 3 倍加速;另一类是功能翻车——带着复杂自定义 mask 的模型悄悄退回标准 kernel,显存爆了还找不到原因。第二条在升级 PyTorch 或换推理框架时尤其常见,scaled_dot_product_attention 的后端选择是静默的,建议用 torch.backends.cuda.sdp_kernel 显式约束或在 profiling 里确认 kernel 名。
这一篇在知识体系里的位置
本篇是「AI 推理与硬件协同」线上的一篇 kernel 级优化专题:向上承接 GPU 显存层次与带宽 和 矩阵乘分块 的 tiling 与屋顶线方法论;横向与 KV Cache 推理显存、PagedAttention 与 vLLM 互补——那两篇管「显存怎么分」,本篇管「算的时候怎么搬」;向下为 混合精度计算 和 FlashAttention-3 的 FP8 流水预留了接口。
总结
FlashAttention 的本质是一笔带宽账:标准注意力的瓶颈不是 O(N²) 的 FLOP 而是 N×N 中间矩阵在 HBM 上的四次往返,于是它用 SRAM 分块 tiling 让中间矩阵永不落地,再用 online softmax 的「反悔式重标定」在分块下得到与一次性 softmax 严格等价的结果——HBM 访问量降约一个数量级、显存占用从 O(N²) 变 O(N),而精度一分不丢。