权重量化 GPTQ AWQ:逐层二阶误差补偿与激活感知缩放两条 W4 路线全解
更新时间:2026-09-30。在 INT8 量化实战:PTQ 与 QAT 里,主角是卷积网络的 8 位整数推理;在 INT8/INT4 量化与校准 里,重点是 scale、零点与离群值的工程账。这一篇进入大语言模型(LLM)的主场:当模型大到显存放不下、推理被显存带宽卡死时,把权重压到 4 位(W4)而激活保持 FP16 的 weight-only 量化成了默认选项,GPTQ 和 AWQ 就是这个领域实际部署最多的两种算法。
本文要回答的问题
- weight-only 量化为什么敢只压权重、不动激活?它加速的是哪个瓶颈?
- GPTQ 的「逐层量化 + 二阶误差补偿」到底在补偿什么,数学上怎么推出来?
- AWQ 说的「1% 的显著权重决定精度」是怎么回事,缩放为什么能减少量化误差?
- GPTQ 和 AWQ 在精度、校准成本、推理速度上怎么对比,工程上怎么选?
- W4 权重在 GPU kernel 里怎么被消费,分组大小(group size)为什么是关键超参?
一、为什么是 weight-only:显存带宽才是真瓶颈
大模型推理的算术强度极低。生成阶段每吐一个 token,都要把整个模型的权重从显存里完整读一遍,而计算只是每个 token 的向量-矩阵乘。以 70 亿参数的 FP16 模型为例,每个 token 要搬运 14GB 字节,而矩阵乘的浮点运算量相对小得多——算术单元大量时间在等数据,这就是典型的「memory bound(显存带宽受限)」场景。
在这种瓶颈结构下,压缩权重带来三重收益:
| 收益 | 机理 | 量级 |
|---|---|---|
| 显存占用下降 | FP16 → INT4,每个权重从 2 字节变 0.5 字节 | 约 4 倍 |
| 生成吞吐提升 | 每个 token 少搬 4 倍字节,带宽瓶颈直接缓解 | 1.5-3 倍 |
| 可部署硬件下沉 | 7B 模型从 14GB 降到 3.5GB 出头 | 单张消费级显卡可跑 |
为什么激活不一起压?因为 LLM 的激活里有少量幅值极大的离群通道(比中位数大 100 倍那种),INT8 还能靠逐 token 动态量化勉强压住,INT4 基本必崩。而且激活量化把省下来的搬运量换成了反量化指令的开销,在 memory bound 场景收益递减。weight-only 的思路因此固定下来:权重离线压到 4 位静态存好,激活保持 FP16,推理时把 INT4 权重反量化回 FP16 再做矩阵乘。注意这里有个反直觉的点——计算本身仍是 FP16 的,省的是「搬」,不是「算」。
上图是 weight-only 推理的核心数据通路:省下的显存带宽在「显存 → 寄存器」这一段兑现,代价是每个权重多几条反量化指令。kernel 实现的关键是把反量化融合进 GEMM(通用矩阵乘)的加载路径里,不落地中间 FP16 权重张量,否则省下的带宽又被写回开销吃掉。
二、朴素四舍五入为什么不够用
最直接的 W4 做法是 RTN(Round-To-Nearest,就近舍入):对每组权重算一个 scale,四舍五入到 4 位整数网格。RTN 在 W8 上几乎无损,但到 W4,LLM 的困惑度(perplexity,衡量语言模型质量的指标,越低越好)会明显恶化——7B 级别的模型可能从 6 点多涨到 8 以上,生成质量肉眼可见地变差。
问题出在哪?RTN 把每个权重的量化当作独立决策,但神经网络的输出是权重共同作用的结果。某个权重 w1 被量化产生误差 e1 之后,如果能把同层另一个权重 w2 往反方向调一点,让 (w1+e1)·x1 + (w2+e2)·x2 更接近原来的 w1·x1 + w2·x2,整层的输出误差就能抵消一部分。RTN 从不做这种「队友补位」,它只是让每个权重各自离原值最近。GPTQ 和 AWQ 的全部价值,就在于各自找到了一种低成本的「补位」方法——一个从数学上补偿,一个从统计上保护。
三、GPTQ:逐层量化,用二阶信息补偿误差
GPTQ 的思想源头是 OBS(Optimal Brain Surgeon)与 OBQ(Optimal Brain Quantization),核心是解一个逐层的二阶近似问题。对某一层的权重矩阵 W,量化目标是让量化后的层输出与原层输出在这一层的校准数据上尽量接近:
min || W·X - Q·X ||^2 (Q 是量化后的权重,X 是校准输入)把目标函数在 W 附近做二阶泰勒展开,误差的结构由 Hessian 矩阵决定。在「层输出重建」这个目标下,Hessian 近似为 H = 2·X·Xᵀ——只用前向收集的输入二阶统计量,完全不需要反向传播,这是 GPTQ 工程上可行的关键。
补偿机制用一个直观例子说明。假设按列顺序量化,量化完第 j 列权重产生了误差 ej,GPTQ 立刻计算:为了让层输出误差最小,尚未量化的那些列应该各自调整多少。根据 OBQ 推导,未量化列的修正量是:
δ = -ej / [H⁻¹]jj · H⁻¹ 的第 j 列(去掉已量化部分)也就是说,每量化一个权重,剩余的权重都按 Hessian 逆矩阵给出的比例集体「让一让」,把刚才的舍入误差分摊掉。量化越到后面,可用来补偿的剩余权重越少,误差越大——所以 GPTQ 还引入两个工程技巧:一是按对角线元素的激活二阶矩从大到小排序量化顺序(先量化「好补偿」的列),二是用 Cholesky 分解一次性预计算所有需要的 H⁻¹ 信息,把逐列求逆的 O(n⁴) 复杂度压到可接受的水平。
上图是 GPTQ 逐层处理的核心循环。还有一个论文里叫 lazy batch update 的细节:如果每量化一列就立刻更新所有剩余权重,内存读写次数太多、GPU 利用率极低。实际实现是攒够一批(比如 128 列)的修正量再一次性回写,中间用临时变量累积,把量化一个 175B 模型的时间压到几小时、7B 模型压到几分钟。
GPTQ 的校准数据需求很温和:128 段左右的文本(从 C4 这类通用语料里随机抽)就够了,不需要标注,不需要与下游任务相关——因为它优化的目标是「层输出重建误差」,与具体任务解耦。这也是它能成为开源社区默认 W4 方案的原因之一。
四、AWQ:保护 1% 的显著权重
AWQ(Activation-aware Weight Quantization)换了一条思路,它不做显式的误差补偿,而是先回答一个问题:所有权重对误差的敏感度一样吗?
答案是否定的。AWQ 的作者通过实验发现,权重的重要性不该看权重自身的幅值,而该看它所乘的激活的幅值:如果某个输入通道的激活幅值普遍很大,那么与它相连的权重哪怕值很小,它的量化误差也会被大激活放大。统计下来,大约 0.1%-1% 的权重通道承担了绝大部分的重要性——按激活幅值找出这些「显著权重(salient weight)」并重点保护,精度就能保住大半。
最朴素的保护方式是把显著权重留在 FP16,但这会让 kernel 变成混合精度、硬件不友好。AWQ 的巧思是改用「等价缩放」:对显著权重所在的输入通道,先把激活除以缩放因子 s(s > 1),同时把对应权重乘以 s——由于 (x/s)·(w·s) = x·w,数学上完全等价。但量化是逐组共享 scale 的,w·s 变大之后,相对量化误差(误差与幅值之比)反而变小了:
相对误差 ≈ scale步长 / 权重幅值
权重放大 s 倍 → 相对误差缩小约 s 倍当然没有免费的午餐:权重乘 s 意味着同组其他非显著权重的相对误差会略微变大。AWQ 把 s 的选择变成一个网格搜索问题——在校准集上枚举候选 s,直接以层输出均方误差为目标选最优,不用梯度、不用反向传播。工程实现里这个搜索很快,一个 7B 模型几十分钟就能跑完。
上图的要点在「融合」:激活除以 s 不是推理时多一步运算,而是把 1/s 预先乘进前一个算子的权重里(比如 LayerNorm 的缩放参数或上一层线性层的权重),推理图和未缩放时一模一样,零开销。权重乘 s 则是离线做的,做完照常走 INT4 量化与分组 scale 计算。
五、GPTQ 与 AWQ 正面对比
两条路线的差异可以浓缩成一张表:
| 维度 | GPTQ | AWQ |
|---|---|---|
| 核心机制 | 逐层二阶误差补偿,未量化权重补位 | 激活感知找出显著权重,等价缩放保护 |
| 需要的统计量 | 每层输入的 Hessian 近似(X·Xᵀ) | 各输入通道的激活幅值 |
| 优化目标 | 层输出重建误差(解析解) | 层输出 MSE(网格搜索 s) |
| 校准数据量 | 约 128 段文本 | 百级样本即可 |
| 量化耗时(7B) | 几分钟 | 几十分钟(含搜索) |
| W4 精度 | 好,多数模型接近 AWQ | 好,低比特(W3)通常略优 |
| 推理 kernel | Marlin、ExLlama 等成熟实现 | AWQ 官方 kernel 与 vLLM/TensorRT-LLM 支持 |
| 对校准集分布敏感度 | 较敏感,分布偏离会掉精度 | 相对稳健一些 |
精度上的实际经验:在 W4 g128(每 128 个权重一组 scale)这个最常见的配置下,GPTQ 和 AWQ 在主流 7B-70B 模型上的困惑度差距通常在 0.1 以内,生成质量很难盲测区分。拉开差距的是更激进的配置——压到 W3 或 g32 以上大组时,AWQ 的缩放保护对极端离群通道更稳健,往往略占上风;而 GPTQ 因为补偿依赖 Hessian 的准确性,校准集和部署域差异大时更容易翻车。
上图是两条路线的汇合点:无论 GPTQ 还是 AWQ,产物都是同一种格式——INT4 权重加分组 scale(可能带零点),消费它的推理 kernel 完全同一套。这解释了为什么两个算法能在同一个生态里共存:量化器是离线的、可替换的,部署侧无感。
六、分组大小与工程选型的账
group size(分组大小)是 weight-only 量化里最重要的超参:多少个连续权重共享一组 scale。组越小,scale 越贴合局部分布,精度越好,但 scale 本身也要占存储——FP16 的 scale 摊到每组 g 个权重上,每权重额外 16/g 位。g128 时每权重摊 0.125 位,总位宽约 4.125 bit;g32 时摊 0.5 位,总位宽 4.5 bit,显存多占近 10%。常用默认就是 g128,精度焦虑再上 g64。
工程选型可以按场景对号入座:
- 要快、要省事、模型在 7B-13B:GPTQ g128,几分钟出模型,vLLM 直接加载,是社区保有量最大的组合。
- 要压到 W3、或模型激活离群特别凶(如部分多模态模型):AWQ,缩放保护在低位宽下更稳。
- 量化后任务指标掉得离谱:先检查校准集是否与部署域同分布,再把 group size 从 128 收到 64,这两步能解决大多数问题;仍不行说明 weight-only 到极限了,回头参考 INT8 量化实战:PTQ 与 QAT 里的 QAT 路线。
- 首 token 延迟敏感、批量很大:注意 W4 反量化在 compute bound 的大 batch 场景是净开销,weight-only 的收益随 batch 增大而衰减,超大并发的服务端场景有时 W8 反而更划算。
最后一个常见误区:weight-only 量化后的模型评测困惑度涨 0.1-0.3 是正常水位,但困惑度只是代理指标。和上一篇强调的一样,验收要落在真实任务上——抽取准确率、代码通过率、人工盲评,任何一项雪崩都说明量化配置出了问题,而不是「4 位就该这样」。
再补一个容易被忽略的工程事实:量化模型的文件格式与推理框架是耦合的。GPTQ 模型常以 safetensors 加 quantize_config 发布,vLLM、TGI、ExLlama 各自对 group size、零点对称性的支持组合略有差异,上线前先用目标框架的官方兼容清单核对一遍,能避免「模型量化得很好、kernel 却不认」的尴尬。AWQ 的模型同理,格式里会记录缩放融合后的权重与分组参数,不要手工改这些字段。
这一篇在知识体系里的位置
- 向上承接:INT8 量化实战:PTQ 与 QAT 建立了量化误差、校准、敏感层的方法论,本篇把它平移到 LLM weight-only 场景——GPTQ/AWQ 本质都是不需要训练的 PTQ 变体。
- 校准细节:INT8/INT4 量化与校准 里 scale、零点、离群值的工程账,是理解 W4 分组 scale 与激活离群通道问题的前置知识。
- 数值格式背景:混合精度:FP16、BF16 与 FP8 解释了为什么 weight-only 的反量化目标是 FP16 而不是 FP32,以及激活为什么不一起压。
总结
权重量化 GPTQ AWQ 是大模型 W4 推理的两条主流 PTQ 路线:weight-only 只压权重不压激活,靠减少显存搬运在 memory bound 的生成阶段提速 1.5-3 倍;GPTQ 用校准数据的 Hessian 近似做逐层二阶误差补偿,让未量化权重分摊已量化权重的误差,几分钟出模型;AWQ 发现约 1% 的显著权重决定精度,用数学等价的通道缩放把它们放大以缩小相对量化误差,低位宽下更稳健。两者产物同为「INT4 权重 + 分组 scale」,g128 是默认配置,工程上 7B-13B 常规场景选 GPTQ、压 W3 或激活离群凶猛选 AWQ,验收一律盯真实任务指标而非单层误差。