HQQ 无校准量化:免校准数据的权重量化原理与适用边界
更新时间:2026-10-07。前面 weight-only 量化 GPTQ 与 AWQ 讲过两类主流权重量化都依赖校准数据,per-group scale 讲过分组量化的 scale/zero_point 语义。本篇回答一个更激进的问题:能不能完全不要校准数据就把权重量化到 4bit 甚至 2bit?HQQ(Half-Quadratic Quantization)给出的答案是能,而且速度还快一个数量级。
本文要回答的问题
- HQQ 无校准量化凭什么不需要校准数据,数学上做了什么替换?
- half-quadratic splitting 具体怎么求解 scale 和 zero_point?
- 和 GPTQ/AWQ 比,精度与速度各差多少?
- 什么场景该用 HQQ,什么场景不该?
一、为什么「免校准」是个硬需求
先回忆校准式量化在做什么。GPTQ 需要 128 段左右的样本文本跑前向,收集 Hessian 信息逐列补偿量化误差;AWQ 需要校准数据统计激活分布找出那 1% 的 salient 通道做保护。两条路都要数据,由此带来三个现实麻烦。
第一个是数据合规。量化一个第三方模型做私有化部署时,手头的业务数据往往不能出内网,而模型的公开校准集(通常是 C4 或 wiki 切片)和实际业务分布差得远——用错分布校准出来的 4bit 模型在垂直领域上掉点明显,见过医疗问答场景掉 2~3 个点的案例。第二个是时间成本。GPTQ 量化一个 70B 模型在 A100 上要 2~4 小时,其中大部分时间在跑校准数据的前向和逐层求逆;对一个要频繁试验不同 bit 配置的研发流程来说,这个开销很劝退。第三个是工程依赖。校准意味着要有能跑通前向的完整环境、要处理 tokenizer、要担心 OOM——量化本该是个纯权重变换,却被绑上了推理栈。
HQQ 的切入点很直接:权重量化误差的最小化,本质上只依赖权重张量本身的分布,不依赖任何输入激活。GPTQ 引入激活信息是为了补偿「量化对输出的影响」,但如果只优化「权重重构误差」这一个目标,数据就完全不需要了。问题是朴素的逐元素 round-to-nearest 重构误差并不小,HQQ 的贡献是把这个纯数学问题解得足够好,好到在多数场景下追平甚至超过带校准的方法。
图里两条路径的差异一目了然:上路的 GPTQ/AWQ 绕不开「数据 → 前向 → 统计信息」这条链;下路的 HQQ 只吃权重张量本身,把整个问题变成一个可闭式迭代求解的优化。70B 模型量化从小时级压到 5~10 分钟,省掉的不是一点半点。
二、half-quadratic splitting 怎么解
HQQ 优化的目标函数写成直觉形式是:找量化参数 scale s 和 zero_point z,使得 ||W - dequant(quant(W, s, z))|| 最小,但额外加了一个稀疏惩罚项来吸收 outlier。直接对这个含取整运算的目标求导不可行,所以用 half-quadratic splitting(半二次分裂)把问题拆成两个交替求解的子问题。
第一步固定量化网格,解一个带 L1 惩罚的去噪问题——这一步有软阈值(soft-thresholding)闭式解,效果是把 outlier 权重的重构误差「外包」给一个稀疏残差项,不让它们污染 scale 的估计。第二步固定残差,对 scale 和 zero_point 做最小二乘更新——同样是闭式解。两步交替十几次就收敛,全程没有梯度、没有反向传播、没有数据。
这个设计和 AWQ 的思想其实遥相呼应:AWQ 说「1% 的 salient 通道决定精度,要保护」;HQQ 说「outlier 权重的误差不该由 scale 来扛,用稀疏项单独吸收」。区别在于 AWQ 靠激活统计找 salient 通道,HQQ 靠优化过程自动让 outlier 浮出——不需要数据就实现了类似的「区别对待」。
给一个手感数字:在单张 A100 上跑 Llama-2-7B 的 4bit 量化,HQQ 从加载权重到写出量化结果全程约 40 秒,其中优化迭代本身只占十几秒,大头是 IO;同模型 GPTQ 要 15~20 分钟。迭代次数上,默认 15 轮交替已经足够,加到 50 轮 perplexity 改善通常在小数点后第三位,收益递减非常快。还有一个工程细节:HQQ 的优化是逐 group 独立的,天然可并行,多卡或 even CPU 多线程都能线性加速,这对没有 GPU 空闲、只有 CPU 服务器的量化流水线是个隐藏福利。
配上 per-group 量化(通常 group_size=64)后,HQQ 在 Llama-2-70B 的 4bit 上能把 perplexity 压到与 GPTQ 相差 0.05 以内,2bit 上甚至反超——因为 2bit 时校准数据分布失配的代价变大,而 HQQ 的纯权重优化不承受这个误差源。
| 维度 | HQQ | GPTQ | AWQ |
|---|---|---|---|
| 校准数据 | 不需要 | 需要(128 段) | 需要(激活统计) |
| 70B 量化耗时 | 5~10 分钟 | 2~4 小时 | 1~2 小时 |
| 4bit 精度 | 与 GPTQ 相当 | 基准 | 略优于 GPTQ |
| 2bit 精度 | 三者中最好 | 崩溃边缘 | 掉点明显 |
| 是否需要推理环境 | 否,纯张量运算 | 是 | 是 |
表里「2bit 精度」一行值得单独强调:越低比特,HQQ 的相对优势越大。道理不复杂——比特越低量化网格越粗,scale/zero_point 的估计误差被放得越大,而 GPTQ/AWQ 的估计都掺着校准集分布的偏置;HQQ 只拟合权重本身,没有这个偏置。如果目标是极限压缩(端侧 2bit/3bit),HQQ 基本是当前 PTQ(训练后量化)里的首选起点。PTQ 与 QAT 的大图景见 INT8 量化 PTQ 与 QAT,本文的 HQQ 属于 PTQ 家族里最激进的一支。
三、适用边界:什么时候别用 HQQ
HQQ 不是万能替代。三个场景要明确绕开。
其一,激活也要量化(W8A8、W4A8)时 HQQ 帮不上忙。它优化的只有权重重构,对激活的 outlier 分布一无所知——这类场景该看 W8A8 SmoothQuant 那套把激活难度迁移到权重的思路,校准数据省不掉。其二,对精度极端敏感的 8bit 场景,GPTQ 的 Hessian 补偿仍能挤出最后一点余量,HQQ 在 8bit 上没有优势——本来 8bit 也不难,用谁差别都不大。其三,要和特定 kernel 深度耦合的部署,HQQ 官方的 kernel 生态不如 GPTQ(ExLlama/Marlin 等)成熟,落地前确认推理框架支持;好消息是 vLLM、Transformers、PEFT 都已集成,生态缺口在快速闭合。
落地时还有一个容易踩的坑:HQQ 量化的产物是「自定义格式的量化权重」,直接替换 FP16 权重塞进不支持 HQQ 的推理框架会静默报错或者更糟——数值错乱但不崩。正确姿势是用框架自带的集成入口(Transformers 的 HqqConfig、vLLM 的 quantization="hqq"),让框架在加载时完成 dequant 或调用对应 kernel,不要手工搬运量化张量。验收也别省:量化后至少跑一次 perplexity 和一两个下游任务的 few-shot 评测,确认掉点在可接受范围再上线,纯看权重重构误差小是不够的——重构误差和任务精度之间还隔着激活分布这一层。
反过来,HQQ 的甜区很清晰:无数据可用的合规场景、需要快速扫描多种 bit/group 配置的实验阶段、2~4bit 的极限压缩、以及 LoRA 微调后想就地量化合并的流水线(不用为每个微调版本重新准备校准集)。
这一篇在知识体系里的位置
本篇是 LLM 量化线的原理补充篇:上游 weight-only 量化 GPTQ 与 AWQ(校准式方法的基线)、per-group scale 语义(分组量化基础);同层 INT8 PTQ 与 QAT(量化方法论全景)、W4A16 GPTQ kernel(量化推理的 kernel 侧)。
总结
HQQ 无校准量化把权重量化从「跑校准数据收集统计」变成「对权重张量本身做 half-quadratic 闭式优化」:用稀疏残差项吸收 outlier、交替更新 scale 与 zero_point,十几分钟量化 70B 模型且 4bit 精度追平 GPTQ、2bit 反超;它的边界是只管权重不管激活(W8A8 别用)、kernel 生态不如 GPTQ 成熟,但在无数据合规、快速扫配置、极限低比特三个场景是当前 PTQ 的最优起点。