Attention 后端选型:FA2/FA3/SDPA/xFormers 按硬件与 shape 的决策手册
更新时间:2026-10-07。前面 Attention kernel 优化版图 梳理过整个注意力算子生态的来龙去脉,FlashAttention 内存分块 讲过 tiling 与在线 softmax 的底层机制。本篇不谈原理,只回答工程上最实际的问题:手头这张卡、这个模型、这个 shape,到底该把 attention 调到哪个后端上,选错会亏多少。Attention 后端选型是性能调优里少有的「一次选对、全程受益」的决策,值得花一篇的篇幅把它钉死。
本文要回答的问题
- FA2、FA3、SDPA、xFormers 四个主流后端的真实定位分别是什么,各自由谁维护?
- A100、H100/H200、消费级显卡上,可用的后端集合和默认选择有什么不同?
- 序列长度、head 维度、掩码类型这些 shape 因素会怎样改变选型结论?
- prefill 和 decode 两个阶段要不要用不同后端?
- 切换后端时怎么验证数值一致性和实际加速比?
一、四个后端的定位与血缘
先把四家分清楚,很多选型错误源于把它们当成同一层的竞品。
FlashAttention-2(FA2):Tri Dao 团队的 CUDA kernel 库,是目前事实上的工业标准。它把注意力计算分块搬进 SRAM、用在线 softmax 避免物化 N×N 的注意力矩阵,显存占用从 O(N²) 降到 O(N)。支持 Ampere(A100)及之后的架构,head 维度上限 256,支持因果掩码、ALiBi、滑动窗口和 GQA/MQA。PyTorch 生态里它通过 flash-attn 包独立安装,也是 vLLM、SGLang、Transformers 的底层依赖。
FlashAttention-3(FA3):同一团队针对 Hopper(H100/H200)架构的专用重写版,利用 Hopper 的 TMA(张量内存加速器)异步拷贝和 WGMMA(异步 warpgroup 矩阵乘)指令做生产者-消费者流水,还能在 FP8 精度下做分块量化。代价是只支持 Hopper,A100 和更早的卡用不了,Ampere 用户装了也白装。FP16 下对 H100 的利用率从 FA2 的约 35% 提到 75% 左右,这个数字在 FA3 Hopper FP8 attention 里有完整拆解。
PyTorch SDPA(torch.nn.functional.scaled_dot_product_attention):PyTorch 内置的统一入口,本身不是一个 kernel,而是一个调度器——它根据输入的 dtype、掩码类型、head 维度和当前硬件,在三个内部实现里挑一个:Flash 后端(移植的 FA2)、Memory-Efficient 后端(移植的 xFormers cutlass kernel)、以及纯数学回退(math,物化注意力矩阵,最慢但兼容性无敌)。用 SDPA 的本质是「把选型外包给 PyTorch」,好处是零依赖,坏处是你不知道它实际选了谁,除非显式查。
xFormers memory_efficient_attention:Meta 的 cutlass 实现,曾经是 FA 出现之前的救星,现在定位变成兼容性兜底——head 维度超过 256、需要自定义注意力偏置(bias tensor)、或者必须在老卡上跑非标准掩码时,它往往是唯一不报错的选择。性能在多数 shape 下落后 FA2 约 10%~30%,但覆盖面最广。
| 后端 | 维护方 | 硬件门槛 | head 维度上限 | 掩码支持 | 典型定位 |
|---|---|---|---|---|---|
| FA2 | Tri Dao 团队 | Ampere 及以上 | 256 | 因果、滑窗、ALiBi | 工业标准默认 |
| FA3 | Tri Dao 团队 | 仅 Hopper | 256 | 因果、滑窗 | H100/H200 性能上限 |
| SDPA-Flash | PyTorch(移植 FA2) | Ampere 及以上 | 256 | 因果、自定义 mask | 零依赖默认 |
| SDPA-Efficient | PyTorch(移植 xFormers) | Volta 及以上 | 不限 | 任意 bias/mask | 兼容性兜底 |
| SDPA-Math | PyTorch 原生 | 无限制 | 不限 | 任意 | 调试基线 |
| xFormers | Meta | Volta 及以上 | 不限 | 任意 bias/mask | 独立库兜底 |
表里能看出选型的第一层逻辑:先看硬件能不能跑,再看 shape 放不放行,最后才轮到性能比较。Hopper 用户的选择题是 FA3 和 FA2 二选一;Ampere 用户实际是 FA2 和 SDPA-Efficient 二选一;shape 越界的(head_dim 大于 256、要带任意 bias)直接掉到 xFormers 或 SDPA-Efficient,没得挑。
SDPA 的调度器行为值得单独画一张图,因为它是「看不见后端的选型」,最容易在生产里悄悄降级。
图里三条出边就是 SDPA 的调度优先级:Flash 优先、Efficient 兜底、Math 垫棺材底。最隐蔽的降级路径是右下那条——用 FP32 调 SDPA 会静默落到 math 后端,注意力矩阵整个物化出来,8K 序列的显存直接爆,很多人排查「为什么换了个模型就 OOM」最后发现是 dtype 从 bf16 写成了 fp32。确认实际后端的办法前面提过:torch.backends.cuda.sdp_kernel 逐个禁用再跑,或者开 torch.backends.cuda.enable_math_sdp(False) 让不该走 math 的调用直接报错——后者是 CI 里防回归的好手,把「禁止回退」变成硬约束而不是口头约定。
二、按硬件代际切第一刀
硬件是选型里最硬的一条线,先把它画出来。
这棵决策树的第一层没有任何模糊空间:sm90 上 FA3 在 FP16 长序列下对 FA2 有 1.5~2 倍的优势,没有理由不用,除非遇到它尚不支持的功能(比如某些版本的变长序列 packing 接口还不全)。sm80 的 A100 是 FA2 的主场,FA3 的 WGMMA 指令在 A100 上根本不存在,装都装不上。消费级的 4090(sm89)有个容易被忽略的坑:FA2 官方预编译 wheel 不一定带 sm89 的 cubin,源码编译又要半小时起步,很多团队图省事直接用 SDPA——这在功能上等价(SDPA 会走自己的 Flash 后端),性能差距在 5% 以内,是可以接受的偷懒,但要在文档里写明,别让后来者以为 4090 上用不了 flash attention。
一个反直觉的点:硬件越新,选错后端的代价越大。A100 上 FA2 和 SDPA-Efficient 的差距大约 20%,咬咬牙能忍;H100 上用 FA2 而不用 FA3,等于花 H100 的钱买 A100 级别的 attention 吞吐,一个 70B 模型的 prefill 阶段整体能慢出 30% 以上。所以 H100 集群上线前的 checklist 里,「确认 attention 后端是 FA3 或 SDPA-Flash」应该和「确认 NVLink 拓扑」排在同一优先级。
多卡场景还有一个容易踩的安装坑:FA3 的 Python 包 flash-attn-3(仓库里叫 hopper 目录)和 FA2 的 flash-attn 是两个独立包,可以共存,但导入名不同(flash_attn_3 对 flash_attn),vLLM 等框架按硬件自动挑——前提是两个包都装上了且编译通过。容器镜像里只装了 FA2 的 H100 机器会静默回退到 FA2 路径,日志里不报错,只有 benchmark 数字偏低这一个症状。上线前跑一个 8K 序列的单层 attention 微基准,H100 上 FP16 应能跑到 500 TFLOPS 以上(FA3),只有 300 左右说明还在 FA2,低于 100 多半掉到了更糟的回退路径,按这个阶梯对号入座即可定位。
三、shape 因素:序列长度、head 维度、掩码
硬件切完第一刀,shape 切第二刀。三个因素按影响力排序。
序列长度决定后端之间的性能差距有多大。注意力计算量随序列平方增长,但显存访问优化得好不好,决定了长序列下 kernel 是算力瓶颈还是带宽瓶颈。FA 系 kernel 的设计目标就是长序列,所以序列越长,FA 系对朴素实现的优势越大:序列 512 时 FA2 对 math 实现只快 30% 左右,序列 8K 时快 4~6 倍,序列 32K 以上差出一个数量级。反过来,序列短于 512 时后端选择几乎不重要,kernel 启动开销和调度开销占主导,这时候去抠 FA2 还是 FA3 属于拧错了旋钮,该优化的是 batch 合并和 CUDA graph。
head 维度是硬约束。FA2/FA3 官方支持到 256,覆盖 Llama 系的 128、DeepSeek MLA 的 192/128 组合等主流设计;但如果你的模型 head_dim 是 384 或更大(一些视觉 Transformer 和自定义架构会这么干),FA 系直接报不支持,只能走 xFormers 或 SDPA-Efficient。head_dim 不是 8 的倍数时 FA 系也会拒绝,这在把自定义模型接进推理框架时是个常见报错来源。还有一种边界情况容易被忽视:GQA(分组查询注意力,多个 query head 共享一组 KV head)下 FA2 要求 query head 数是 KV head 数的整数倍,且倍数在合理范围内——Llama-3 的 32/8 没问题,但某些极端压缩 KV 的设计(比如 64/1 的 MQA)在旧版 FA2 上有过性能回退到接近 naive 的 bug,升级库版本前先看 changelog 里的 GQA 修复记录。
掩码类型决定能不能用最快的路径。因果掩码是所有后端的最优路径(不需要额外内存读掩码矩阵);滑动窗口掩码 FA2/FA3 原生支持;而任意自定义的注意力偏置(比如相对位置编码加在 logits 上的 bias tensor)会让 FA 系全部退场,只剩 SDPA-Efficient 和 xFormers 能接。SDPA 的一个实用技巧:把自定义掩码写成「块稀疏 + 因果」的组合形式,有时能让调度器仍选 Flash 后端,但这依赖版本,别当稳定特性用。
图里把第二刀画成了两级闸门:head 维度先卡一道,掩码再卡一道,两级都过才进入 FA 系的性能比较环节。值得注意的是左下那条「任意 bias」的退路——很多模型为了加相对位置信息会往 attention logits 里加 bias,这一笔直接告别了 FA 系 30% 的性能红利。如果你的架构还在设计阶段,把位置编码换成 RoPE(旋转位置编码,作用在 Q/K 上而不是 logits 上)是性价比最高的一个决定,它让模型终身留在 FA 系的快车道上。
四、prefill 与 decode:一次推理两种选型
训练场景的 attention 形状单一(长序列、大批次),选型相对简单;推理场景要分开看 prefill 和 decode,因为两个阶段的瓶颈完全不同。
prefill 阶段的 Q 长度等于 prompt 长度,是标准的算力密集型 GEMM 形状,FA2/FA3 的主场,选型逻辑和训练一致。decode 阶段每步只产生 1 个新 token,Q 长度是 1,计算退化成「一个 query 对全量 KV 的矩阵向量乘」,瓶颈是 KV cache 的显存带宽,这时 FA 系为长 Q 设计的 tiling 流水反而用不上。主流推理框架的做法是给 decode 配专用 kernel:vLLM 用 FlashDecoding(把 KV 维度也切分做 split-K 归约)、FlashMLA(针对 DeepSeek MLA 的 decode 优化,见 FlashMLA decode kernel 分析)、或 FlashInfer 的 decode 路径。
图里的关键信息是:同一个请求的两个阶段应该走两个不同的 kernel,这不是高级技巧,而是现代推理框架的默认行为——vLLM 的 VLLM_ATTENTION_BACKEND 环境变量切换的是整套 prefill+decode 组合(如 FLASH_ATTN 对应 FA2 prefill 加 FlashDecoding decode,FLASHMLA 对应 FA3 风格 prefill 加 MLA 专用 decode)。自己写推理代码时最常见的错误是 prefill 和 decode 共用同一个 flash_attn_func 调用:decode 步 Q 长度为 1 时,FA2 的 SM 占用率会掉到 10% 以下,吞吐只有专用 decode kernel 的三分之一。给一组一手感官数字(H100、8K 上下文、batch 64、FP16):decode 用 FA2 通用 kernel 约 900 token/s,换 split-K decode kernel 后约 2700 token/s——同一个后端品牌,选对变体就差 3 倍。
所以 Attention 后端选型在推理侧的正确问法不是「选哪个库」,而是「prefill 和 decode 各选哪个 kernel,框架的默认值是否已经选对」。对绝大多数用户,答案是不动框架默认、只验证它没掉到回退路径——vLLM 启动日志会打印实际使用的 backend,看到 Using Flash Attention backend 是正常,看到 Using XFormers backend 且你的硬件是 A100 以上,就说明某处配置逼它降级了,值得查。
五、切换验证:数值一致性与加速比测量
选定后端之后还有最后一道工序:验证切换没有引入问题。两件事必须做。
数值一致性:不同后端的浮点归约顺序不同,输出不会逐位相等,这是正常的;要确认的是误差在合理量级。标准做法是用固定输入跑两个后端,比较输出的最大绝对误差——FP16 下相对误差应在 1e-3 量级,如果大到 1e-1 级别,多半是掩码语义被改错(比如因果掩码的方向传反,这在自研框架接 FA 时是高发事故)。训练场景切换后端后,前几百步盯 loss 曲线是否与原后端重合,前 100 步的 loss 差应小于 1%。
加速比测量:不要用单个 attention 调用的微基准去外推端到端收益——attention 在 7B 模型里只占约 30% 的端到端时间,kernel 快 2 倍端到端只快 15% 左右(阿姆达尔定律的直接推论)。正确的验收是端到端吞吐(训练用 samples/s,推理用 token/s)和显存峰值两个数。显存这一条经常被忘:FA 系的 O(N) 显存优势在长序列下是质变——64K 序列、batch 1 的注意力矩阵物化要 16GB,FA 系只要几十 MB——所以很多场景不是「FA 更快」而是「非 FA 根本跑不动」,选型在这些场景里没有悬念。
| 验证项 | 方法 | 通过标准 |
|---|---|---|
| 数值误差 | 固定输入双后端对比 | FP16 相对误差小于 1e-3 |
| 训练 loss | 切换后前 100 步对比 | loss 差小于 1% |
| 端到端吞吐 | 真实负载测量 | 与预期加速比吻合 |
| 显存峰值 | torch.cuda.max_memory_allocated | 长序列下 O(N) 增长 |
最后给一个快速定位当前后端的小技巧:PyTorch 里可以用 torch.backends.cuda.sdp_kernel 上下文管理器强制只允许某一个后端,逐一开关看哪个性能够得着,就知道 SDPA 默认选了谁;推理框架里直接看启动日志或 vllm envs 输出。把「当前实际后端」写进性能报告的抬头,是比写 GPU 型号更有信息量的一个字段——同一张 H100,后端从 math 换到 FA3,attention 吞吐能差 10 倍,不写明后端的 benchmark 数字没有任何可比性。
这一篇在知识体系里的位置
本篇是 attention kernel 线的操作层文章:上游 Attention kernel 优化版图(生态全景)、FlashAttention 内存分块(tiling 与在线 softmax 原理);同层 FA3 Hopper FP8 attention(Hopper 专用优化的深入拆解)、FlashMLA decode kernel 分析(decode 阶段专用 kernel 的个案)。读完本篇应该能独立回答「我的硬件加 shape 该用哪个后端」,并会用数值对比和端到端测量验收切换结果。
总结
Attention 后端选型的决策顺序是:硬件先切一刀(Hopper 上 FA3、Ampere 和消费级上 FA2),shape 再切一刀(head_dim 不超过 256 且掩码是因果或滑窗才能留在 FA 系,越界退到 SDPA-Efficient 或 xFormers,损失 10%~30%),推理侧再按阶段切一刀(prefill 用 FA 系 tiling kernel、decode 用 FlashDecoding 类 split-K kernel,两者混用会亏掉 3 倍 decode 吞吐);切换后必须做数值误差和端到端吞吐的双重验收,并把实际后端写进性能报告——同一张卡上后端选错,attention 吞吐的差距最大能到 10 倍。