per-token 量化:激活动态 scale 为什么比 per-tensor 稳、开销多少、怎么融合进 kernel
更新时间:2026-10-01。W8A8 推理(权重和激活都压到 INT8)是 LLM 部署里性价比最高的一档:GEMM 用整数张量核,吞吐接近翻倍,显存带宽减半。但 W8A8 的老大难是激活——权重可以离线慢慢校准,激活是每个请求现场算出来的,数值分布随输入剧烈波动。W8A8 与 SmoothQuant 的离群值治理 讲了怎么用平滑把激活的离群通道摊平,本篇讲另一个正交的手段:给每个 token 单独在线算缩放因子,也就是 per-token 量化。它是 vLLM、TensorRT-LLM 里 W8A8 路径的默认粒度,理由很简单——稳。
本文要回答的问题
- per-tensor 量化为什么对激活不灵,per-token 稳在哪?
- 动态 scale 在线计算到底多花多少算力,值得吗?
- per-token 的 scale 怎么融进 GEMM kernel,不拖慢主计算?
- 它和 per-channel 权重粒度、SmoothQuant 这些手段怎么配合?
一、per-tensor 为什么对激活不灵
量化一个 FP16 张量到 INT8,先选一个缩放因子 s,再做 round(x/s)。per-tensor 是整个激活张量(batch × seq_len × hidden)共用一个 s。问题出在这个「共用」上:
其一,激活的动态范围远大于权重。同一个线性层,一条「嗯嗯好的」的激活幅度可能是 0.1,一条包含罕见实体的长文本能冲到 30。共用 scale 要么照顾大值把小值全压成 0,要么照顾小值让大值溢出截断。
其二,静态校准的 scale 会过期。PTQ 流派拿一批校准数据离线定死 s,线上分布一漂移(换语言、换任务、prompt 变长)就失准。通用校准方法见 INT8 量化:PTQ 与 QAT,但 PTQ 解决的是权重,激活的在线波动它管不了。
其三,误差随 token 不均匀。per-tensor 下,小幅度 token 的整行激活被压进个位数的整数区间,相当于有效位宽只剩 3~4 bit,而恰恰是这些 token 的信息被均匀破坏。
per-token 量化的做法是把缩放粒度收紧到行:激活形状是 (num_tokens, hidden),每个 token 的 hidden 维向量单独算一个 scale——通常取该行绝对值最大值除以 127。每行的 INT8 都用满 [-127, 127] 的动态范围,大 token 不溢出,小 token 不被压扁。
这张图的核心信息是:per-token 并没有改变量化公式,只是把「谁和谁共享一个 scale」从整张量收窄到一行。代价是每行多存一个 FP16 scale——4096 个 token 也只多 8 KB,相对激活本身可忽略。
二、为什么 per-token 对激活特别稳
稳定性来自两个数学事实。
第一,行内分布比张量级分布规整得多。激活的离群值有两种聚集方式:按通道聚集(固定几个 hidden 维度永远偏大,SmoothQuant 对付的那种)和按 token 聚集(个别 token 整行偏大)。per-token scale 天然免疫第二种——某个 token 再猛,也只抬高它自己那一行的 scale,不会连累别的 token。
第二,absmax 在线计算是无偏的。per-token 不需要校准集,scale 由当前输入当场决定,不存在训练/部署分布漂移问题。输入怎么变,scale 跟着怎么变,这是它比静态 per-tensor「稳」的根本原因。
实测数字有个直观参照:在 LLaMA 类模型上做 W8A8,per-tensor 静态激活量化的困惑度劣化常见 1%~3%,下游任务掉点更明显;换成 per-token 动态量化后,困惑度劣化通常压到 0.1% 以内,基本贴着 FP16 基线。再叠上 per-channel 的权重量化(每输出通道一个 scale,离线算好零开销),就是所谓「W8A8 per-token + per-channel」的标准组合。
| 方案 | 激活 scale 粒度 | 权重 scale 粒度 | 典型困惑度劣化 | 在线开销 |
|---|---|---|---|---|
| W8A8 静态 | per-tensor(校准定死) | per-tensor | 1%~3% | 几乎为零 |
| W8A8 半动态 | per-token(在线) | per-tensor | 0.3%~0.8% | 一次 absmax |
| W8A8 标准组合 | per-token(在线) | per-channel | <0.1% | 一次 absmax |
| FP16 基线 | 不量化 | 不量化 | 0 | 无 |
三、动态 scale 的在线开销到底多少
per-token 的唯一额外计算是:对每个 token 的 hidden 维向量求 absmax,再用它除出 INT8。听起来要扫一遍数据,其实量级很小——它是 O(num_tokens × hidden) 的逐元素操作,而紧随其后的 GEMM 是 O(num_tokens × hidden × out_features) 的乘加。hidden=4096 时,量化阶段的算术量不到 GEMM 的万分之一。
真正的开销不在算,在内存往返:朴素实现要先读一遍 FP16 激活求 absmax、再读一遍做除法取整写出 INT8,等于把激活张量多读了一次。对 decode 阶段(batch 小、激活小)这无所谓;对 prefill 大 batch,多一次全局内存读写会吃掉几个百分点的端到端时延。
所以工程上的答案是:不要独立的量化 kernel,把量化融进上一个算子。
四、kernel 融合的两个关键位置
上图右边的融合路径是现在主流推理框架的做法,融合点有两个。
入口融合:量化塞进前一个算子。激活进入线性层之前,上一个算子通常是 LayerNorm 或残差相加。把 per-token 量化直接写在这个算子的尾部:每个线程块处理一行,先在寄存器/shared memory 里归约出 absmax,再顺手完成除法和取整,最后只把 INT8 结果写回全局内存。FP16 中间结果根本不落盘,「多读一遍」的开销直接消失。
出口融合:反量化塞进 GEMM 的 epilogue。INT8 GEMM 的累加结果是 INT32。per-token 激活 scale(每行一个)与 per-channel 权重 scale(每列一个)在数学上合成一个外积:输出 (i, j) 元素要乘 s_act[i] × s_w[j]。这个逐元素乘法放在 GEMM epilogue 里做,顺路还能加 bias、做激活函数,一次完成。主循环全程跑纯整数张量核,一点不被 scale 打扰——这就是 per-token 量化「几乎免费」的原因:所有额外工作都被塞进了本来就存在的访存与收尾阶段。
值得点名的反例:如果框架不支持 epilogue 融合,反量化就得单独起一个 kernel 读 INT32 写 FP16,开销立刻从可忽略变成几个百分点。选型时看 kernel 库里有没有 int8 gemm with per-token scale epilogue 这一档(CUTLASS、vLLM 的 w8a8 kernel 都有),比看理论 FLOPS 实在得多。
五、与 SmoothQuant 的关系:正交,不是替代
per-token 解决 token 维度的幅度不均,SmoothQuant 解决通道维度的离群值——两者正交。只上 per-token 不上 SmoothQuant 时,固定离群通道仍会把每行 scale 抬高,行内其余 99% 的通道被压进很窄的整数区间;只上 SmoothQuant 不上 per-token 时,token 间幅度差异依然没人管。生产实践里常见三种组合:轻量场景只开 per-token(改动最小);精度敏感场景 per-token + per-channel 权重粒度打底;追求极限再把 SmoothQuant 的逐通道平滑叠上,三者叠加后 W8A8 基本能在绝大多数任务上贴着 FP16 跑。各层敏感度差异与校准流程可参考 INT8/INT4 量化校准,KV cache 侧的粒度选择则是另一套权衡,见 KV 缓存量化。
这一篇在知识体系里的位置
- 上游:INT8 量化:PTQ 与 QAT 讲量化的基本公式与校准方法论,本篇是激活侧粒度问题的深入。
- 横向:W8A8 与 SmoothQuant 的离群值治理 处理通道维离群值,本篇处理 token 维幅度波动,两者正交可叠加;INT8/INT4 量化校准 给出逐层敏感度的校准流程。
- 下游:KV 缓存量化 把同样的粒度思想用到 KV cache 这个在线张量上。
总结
per-token 量化给激活张量的每个 token 在线算一个 absmax 缩放因子,用每行多存一个 FP16 的代价,换来 scale 永远贴合当前输入、token 间幅度差异互不连累的稳定性——W8A8 困惑度劣化从 per-tensor 的 1%~3% 压到 0.1% 以内;它在线开销的绝对值不到 GEMM 的万分之一,再通过「量化融进 LayerNorm 尾部、反量化融进 GEMM epilogue」两处 kernel 融合把访存开销也抹掉,配合 per-channel 权重粒度与可选的 SmoothQuant 通道平滑,就是当前 LLM 整数推理的标准打法:粒度保精度,融合保速度。