W8A8 量化 SmoothQuant:激活离群通道的平滑迁移原理、精度收益与算子代价
更新时间:2026-09-30。大模型推理想上 INT8,权重量化(weight-only)已经相对成熟,难的是把激活也压到 8 位——也就是 W8A8(权重 8 位、激活 8 位)。一旦激活也用 INT8,矩阵乘才能全程走整数张量核,吞吐和显存带宽都拿到满额收益。但直接做会翻车:Transformer 的激活里藏着少数「离群通道」,幅值比其余通道大几十倍。本篇是 INT8 量化:PTQ 与 QAT 的下游专题,只讲一件事:SmoothQuant 怎么用一条逐通道的除法/乘法,把激活的量化难度「转嫁」给本来就好量化的权重。
本文要回答的问题
- 激活里的离群通道(outlier channel)长什么样,为什么它让 per-tensor 量化崩溃?
- SmoothQuant 的平滑因子 s 怎么把量化难度从激活迁到权重,数学上为什么不改变输出?
- 迁移强度 α 怎么选,迁过头会发生什么?
- W8A8 落地对 GEMM 算子、校准流程有哪些硬性要求,和 INT4 方案怎么取舍?
一、离群通道:激活量化的拦路虎
先回顾对称 INT8 量化的基本式:x_int8 = round(x / scale),scale = max|x| / 127。量化误差的上界正比于 scale——scale 越大,每个量化台阶越宽,小数值被四舍五入碾得越碎。
对权重做 per-channel 量化(每个输出通道一个 scale)时这条路很顺,因为权重的分布接近平滑的高斯形,max|x| 不会比典型值大太多。但 Transformer 的激活不按这个剧本走。实测 LLaMA、OPT 这类模型,激活的绝大多数通道幅值在个位数,却有约 1%~5% 的通道系统性冲到几十甚至上百,而且出现在固定的通道下标上、与输入内容关系不大——这就是离群通道。它们像是 LayerNorm 残差流里沉淀下来的「偏置放大器」,随模型规模增大而愈发明显。
后果很直接:
| 量化方案 | scale 怎么定 | 离群通道下的表现 |
|---|---|---|
| 激活 per-tensor 动态量化 | 全张量一个 scale,被离群值撑大 | 普通通道挤在 ±5 个台阶内,有效精度只剩 3~4 位,模型明显掉点 |
| 激活 per-token 量化 | 每个 token 一个 scale | 好转,但同 token 内离群通道仍撑大范围;且逐 token 求 scale 有运行时开销 |
| 权重 per-channel 量化 | 每输出通道一个 scale | 没问题,权重本来就平滑 |
| 激活也 per-channel | 每通道一个 scale | 精度最好,但激活 channel 维与 GEMM 的 reduction 维耦合,硬件算子不支持 |
真正的死结在最后一行:GEMM 里激活的 channel 维是被累加掉的,整数张量核要求 K 维共享一个 scale,激活 per-channel 量化在标准 INT8 GEMM 里根本无法表达。这就是 W8A8 推不动多年的核心障碍。
二、SmoothQuant:把难度迁给权重
SmoothQuant 的观察很朴素:离群只集中在少数通道,那就对激活按通道除以一个平滑因子 s_j(j 为通道下标),把离群通道压回去;为了保持数学等价,对权重同通道乘上同一个 s_j。对线性层 Y = X·W:
Y = X·W = (X · diag(s)^-1) · (diag(s) · W) = X̂ · ŴX̂ 的离群通道被 s_j 压平,变得和权重一样「好量化」;Ŵ 虽然被逐行缩放,但权重本身分布平滑,吸收这点扰动毫无压力。量化难度发生了迁移,浮点输出却严格不变。s 是离线算好的常数向量,除法可以折进前一个算子(LayerNorm 的 gain 或上一层线性层的权重)里,推理时零开销。
读这张图的关键是「难度守恒」:量化误差预算没有消失,只是从扛不住的一方(激活)挪到了扛得住的一方(权重)。离群通道的幅值被压到与其他通道同量级后,激活终于可以回到最便宜的 per-tensor(或 per-token)静态量化,标准 INT8 GEMM 算子直接可用——这是 SmoothQuant 相对各种花哨逐通道方案最大的工程价值。
三、平滑因子怎么算,α 怎么选
平滑因子通常取:
s_j = max|X_j|^α / max|W_j|^(1−α)α ∈ [0, 1] 是迁移强度旋钮。α = 1 表示把激活通道全部拉平到同一幅值,难度全压给权重;α = 0.5 是论文推荐的甜点,激活与权重各扛一半。max|X_j| 用一小批校准数据(几百条样本)离线统计,这与 INT8/INT4 校准方法 里的统计流程完全同构,校准集不重合分布就会引入偏差。
α 不是越大越好。迁过头之后,权重的某些行被 s_j 放得过大,权重的 max|Ŵ_j| 开始甩开典型值,权重量化误差反过来抬头。α 的正确姿势是在校准集上扫一条「激活量化误差 − 权重量化误差」的平衡曲线,取两者之和最优点;对大多数 7B~70B 模型,α 落在 0.4~0.6。另有少数模型(如部分 MoE、GLU 变体)离群出现在 down-proj 输入,平滑因子要逐层单独标定,不能一套 α 全网络通用。
这条流水线里最容易踩的坑是「折叠位置」:s 必须乘进离群激活产生点之前的算子。残差流上的离群通道贯穿整层,通常把 diag(s)^-1 折进 LayerNorm 的逐通道 gain、diag(s) 折进随后的 qkv_proj 权重;attention 输出与 FFN 内部各有一套独立的 s。折错位置等于没折——量化后精度掉了还查不出原因。
四、精度收益与算子要求
在 OPT-175B、LLaMA 系列上,SmoothQuant 后的 W8A8 相对 FP16 基线困惑度退化通常在 1% 以内,而远好于朴素的 W8A8 per-tensor 方案(后者在大模型上直接不可用作);端到端吞吐相对 FP16 约 1.5~1.9 倍,显存占用减半——整数 GEMM 同时吃到算力和带宽两份红利。但天下没有白吃的午餐,它把三个要求推给了工程侧:
| 要求 | 具体内容 | 不满足的后果 |
|---|---|---|
| INT8 GEMM 算子 | 需要 INT8 输入、INT32 累加、带反量化 epilogue 的核(CUTLASS/TensorRT/cuBLASLt 均有) | 拿不到算力红利,只剩显存减半 |
| 静态 scale | 激活 scale 离线标定,避免逐 token 动态求 max 的同步开销 | 动态量化吃掉部分吞吐收益 |
| 折叠正确性 | s 折进 LN gain 与前层权重后,浮点输出须逐位等价验证 | 隐性精度损失,校准集指标失真 |
和更激进的方案对比也有助于选型:W4A16(权重 4 位、激活 16 位,如 AWQ/GPTQ 路线)显存省得更多但算力只吃一半红利;W8A8 是「算力 + 带宽」两头都赚的最甜档位,代价是必须驯服离群通道——这正是 SmoothQuant 的位置。更细的背景可回看 混合精度:FP16/BF16/FP8 里各数位的动态范围对比。
这一篇在知识体系里的位置
- 上游:INT8 量化:PTQ 与 QAT 给出量化误差与训练/训练后两条路线的总框架;混合精度:FP16/BF16/FP8 解释为什么 INT8 对激活的动态范围如此苛刻。
- 横向:INT8/INT4 校准方法 的校准集统计流程与本篇 max|X_j| 采集完全同构,可共用同一套数据管线。
总结
大模型激活中 1%~5% 的离群通道幅值超出普通通道几十倍,把 per-tensor INT8 量化的 scale 撑爆、且激活 per-channel 量化在标准 GEMM 里无法表达,这是 W8A8 的核心障碍;SmoothQuant 用逐通道平滑因子 s_j = max|X_j|^α / max|W_j|^(1−α) 对激活做除法、对权重做乘法,在浮点严格等价的前提下把量化难度迁移给平滑的权重,α 取 0.5 附近、因子离线折叠进 LayerNorm gain 与前层权重,推理零开销,配合 INT8 输入/INT32 累加的整数 GEMM 即可在精度损失 1% 以内拿到显存减半、吞吐约 1.5~1.9 倍的 W8A8 红利。