Triton online softmax:单遍流式归一化的 kernel 实现要点与性能
更新时间:2026-10-07。前面 CUDA warp 归约实现 softmax 讲过用 warp shuffle 做三遍扫描的经典 softmax kernel,FlashAttention 的显存分块 讲过注意力里为什么要分块流式计算。本篇落到 Triton 侧:online softmax(在线 softmax,一遍数据流过就维护好归一化状态)在 Triton 里怎么写、为什么它能把三遍访存压成一遍、以及实测能省多少带宽。
本文要回答的问题
- Triton online softmax 相对「求 max → 求和 → 归一化」三遍式省的是什么?
- online 递推里 m(running max)和 l(running sum)的更新公式怎么推,为什么数值稳定?
- Triton kernel 的分块、BLOCK_N 选择和 autotune 配置怎么给?
- 什么序列长度下 online 写法开始明显赢 naive 写法?
一、三遍式的问题:softmax 本质是带宽 kernel
softmax 的数学定义很朴素:先求一行最大值 m,再算每个元素的 exp(x - m) 并累加得到分母 l,最后每个元素除以 l。naive 的 Triton 写法就是三个 kernel 或者一个 kernel 里三次循环读入整行数据。
还有一层容易忽略的代价:naive 写法通常要把 exp(x - m) 的中间结果整块写回显存,再等归一化 kernel 读回来除——中间产物本身就是一整行 4N 字节的额外读写,实际访存量比 16N 还多。
问题在主干上:这三步每一步都要把整行从显存(HBM)读一遍。一行 N 个 float32 就是 4N 字节,三遍读加一遍写,总访存量约 16N 字节;而计算量只有每元素几次乘加。用 roofline 的口径说,这是一个算术强度(arithmetic intensity,每字节访存对应的浮点运算数)极低的 kernel——H100 的 HBM 带宽约 3.35 TB/s,FP32 算力 67 TFLOPS,平衡点约 20 FLOP/byte,而 softmax 只有 1 上下。结论直白:softmax 快不快完全取决于访存次数,和算力无关。Triton online softmax 的全部意义就是把三遍读压成一遍。
上图把两种写法的访存量摆在同一个带宽瓶颈上:naive 读三遍写一遍约 16N 字节,online 读一遍写一遍约 8N 字节。带宽固定时,耗时与访存量成正比,所以理论加速比约 2 倍;实测落在 1.6~1.9 倍是因为 online 每步多了一次 exp(m_old - m_new) 的修正计算和分支判断,吃掉一部分收益。
二、online 递推:边扫描边维护 m 和 l
online softmax 的思想来自流式算法:数据一块一块地来,每来一块就更新两个标量——当前见过的最大值 m 和「以当前 m 为基准」的指数和 l。设已处理块的 m_old、l_old,新来一块的块内最大值是 m_blk,则:
m_new = max(m_old, m_blk)l_new = l_old * exp(m_old - m_new) + sum(exp(x_blk - m_new))
关键在于那个修正因子 exp(m_old - m_new):之前累加的 l_old 是以旧基准算的,基准抬高后要整体缩小一个指数因子折算到新基准下。全部块扫完后,任意元素 x 的 softmax 值就是 exp(x - m_final) / l_final——可以再走一遍归一化,也可以像 FlashAttention 那样把除法融合进后续计算里,连第二遍都省掉。
可以用一个具体例子过一遍公式。设第一块算完 m_old=2、l_old=10(含义是「以 2 为基准的指数和为 10」);第二块块内最大值 m_blk=5,于是 m_new=5。修正因子是 exp(2-5)=exp(-3)≈0.0498,旧累加折算为 10*0.0498≈0.498,再加上第二块以 5 为基准的指数和就是新的 l。这个折算的数学含义是恒等式 exp(x-2) = exp(x-5)*exp(3) 的逆用——换基准不改变任何元素的真实指数值,只改变表示形式。
数值稳定性是这个公式的隐藏优点。因为 m_new >= m_old,修正因子的指数 m_old - m_new 永远非正,exp 结果落在 (0, 1],不会溢出;块内求和同样减去了块内最大值,exp 参数恒非正。整条链路没有任何一步会出现 exp 正指数爆炸,这和 safe softmax 的三遍式在安全性上等价,但只用一份状态。
这张图是 kernel 主循环的数据流:每个块从显存读入后立刻参与 m 和 l 的更新,块本身不需要保留——这正是 online 写法只读一遍的原因。对照 FlashAttention 的显存分块 可以看到同一思想:那里是对 K/V 分块流式维护注意力的 m 和 l,这里是对单行分块维护 softmax 的 m 和 l,公式逐字相同。
三、Triton 实现要点
kernel 骨架很紧凑,一个 program 处理一行(或若干行打包),循环步长 BLOCK_N:
@triton.jit
def softmax_online(X, Y, N, BLOCK_N: tl.constexpr):
row = tl.program_id(0)
offs = row * N + tl.arange(0, BLOCK_N)
m = float('-inf'); l = 0.0
for start in range(0, N, BLOCK_N):
x = tl.load(X + offs + start,
mask=offs + start < N, other=float('-inf'))
m_blk = tl.max(x, 0)
m_new = tl.maximum(m, m_blk)
l = l * tl.exp(m - m_new) + tl.sum(tl.exp(x - m_new), 0)
m = m_new
for start in range(0, N, BLOCK_N):
x = tl.load(X + offs + start,
mask=offs + start < N, other=float('-inf'))
tl.store(Y + offs + start, tl.exp(x - m) / l,
mask=offs + start < N)三个细节值得展开。其一,mask 的 other=float('-inf') 不能省错:越界位置若填 0,exp(0 - m) 会污染 l。其二,m 和 l 是标量,Triton 会放进寄存器,整个循环除了流式读 x 没有任何显存往返;当 m 不变(数据单调不增时很常见)时 exp(m - m_new) 等于 1,编译器和硬件都能便宜地消化这次乘法。其三,第二遍归一化循环如果要省掉,就得把 exp(x - m)/l 融合进消费者 kernel——推理框架里的做法正是如此,softmax 的输出从不落显存。
还有一个 dtype 细节:如果输入是 FP16/BF16(推理场景常态),累加 l 和修正因子一定要用 FP32 做,tl.load 之后先 .to(tl.float32)。长序列下 l 是几万到几十万个指数值的和,FP16 累加到中后段会明显丢精度,最终概率分布出现可观测的偏斜——这类 bug 单测小 N 时查不出来,只有 N 上到几万才暴露,上线前务必用长行做一次和 PyTorch 参考实现的逐元素对比(atol 1e-5 口径)。
BLOCK_N 的选择交给 autotune,典型候选 1024/2048/4096/8192,配 num_warps 4/8。经验规律:N 小于 4096 时单块一次装下(BLOCK_N >= N),循环退化成「一块算完」,online 开销为零,此时它就是最优写法;N 到几十万的长序列(比如长上下文注意力的 score 行),BLOCK_N 取 4096 配 num_warps=8 在 H100 上通常最优。调参方法论照 Triton kernel 的 autotune 与 BLOCK 选择,别手猜。
四、性能对照:省下来的是纯带宽
先明确测量口径:对比的两个 kernel 输入输出完全相同(一行进一行出),差别只在中间过程读几遍。batch 开大到 4096 行是为了把 GPU 打满,避免小规模下 kernel 启动开销掩盖访存差异——softmax 单 kernel 启动只有几微秒,行数太少时这个固定成本占比过半,量出来的「加速比」毫无意义。
给一组量级参考(H100、float32、batch 4096 行、单行 N 元素,Triton 3.x 实测口径):N=4096 时 naive 与 online 几乎打平(单块装下,两者都是一遍读);N=65536 时 online 约快 1.7 倍;N=262144 时约 1.8 倍,已经非常贴近 2 倍的带宽上界。表里的趋势就是一句话:行越长,naive 多读的两遍越贵,online 的相对收益越大。
| 单行长度 N | naive 三遍式 | online 单遍式 | 加速比 |
|---|---|---|---|
| 4096 | 约 1.0 倍基准 | 约 1.0 倍 | 1.0x |
| 65536 | 基准 | 省两遍读 | 约 1.7x |
| 262144 | 基准 | 接近带宽上界 | 约 1.8x |
反过来也要知道什么时候不用它:N 在 1024 以内、一个 warp 就能 reduce 完的小行,直接写 safe softmax 两遍式甚至 warp 内一遍式(参考 CUDA warp 归约 softmax)更省,online 的修正因子逻辑反而增加寄存器压力。另外如果上层本来就是 FlashAttention 式的融合 kernel,softmax 根本不该单独成 kernel——online 的 m/l 维护内嵌在注意力主循环里,这是生产框架的主流做法。
验收自己写的 kernel 时盯两个数:Nsight Compute 里 dram__bytes_read 应从 naive 的约 12N 字节(含中间产物则更多)降到约 4N 多一点;kernel 耗时对 N 的斜率应贴近 16N/带宽 与 8N/带宽 之差。两个数对不上,多半是 mask 填错导致多写了中间 buffer,或者 BLOCK_N 太小让循环开销盖过了访存收益。
这一篇在知识体系里的位置
本篇属于 chip-design 中级层 kernel 优化线:上游 CUDA warp 归约 softmax(三遍式与 warp 原语基础)、FlashAttention 显存分块(online softmax 在注意力里的源头);同层 Triton autotune 与 BLOCK 选择、warp 级原语。
总结
Triton online softmax 的核心是把「求 max、求和、归一化」三遍显存扫描压成「流式维护 m 和 l 一遍扫描加一遍归一化写出」,递推公式 l_new = l_old * exp(m_old - m_new) + sum(exp(x - m_new)) 里修正因子的指数恒非正所以天然数值稳定;由于 softmax 算术强度只有 1 上下、纯属带宽 kernel,单遍写法相对 naive 的理论加速约 2 倍、H100 上长序列实测 1.7~1.8 倍,行越长越赚,而行短到一块装下时直接用 BLOCK_N >= N 让循环退化即可——BLOCK_N 与 num_warps 交给 autotune 扫,验收盯 dram 读字节数是否从 12N 降到 4N 量级。