分组量化:group size 如何同时决定精度与 kernel 效率
更新时间:2026-10-02。上一篇 W8A8 与 SmoothQuant 的离群值处理 讲到激活里的离群值会毁掉 per-tensor 量化,权重量化有一条平行的应对路线:不换算法,只把 scale 的粒度切细。这篇讲的就是这条路线的主流形态——分组量化(per-group quantization),它是 GPTQ、AWQ 等 W4A16 方案能把 4 bit 权重精度拉回可用区间的结构基础。权重量化算法本身见 GPTQ 与 AWQ 权重量化,INT4 kernel 实现见 INT4 GEMM 与 Marlin kernel。
本文要回答的问题
- per-tensor、per-channel、per-group 三种 scale 粒度差在哪,为什么 per-channel 还不够?
- 分组量化的数据布局长什么样,scale 和 zero point 带来多少额外存储?
- group size 变小为什么精度变好、kernel 却变慢?两边的账各是多少?
- 主流推理框架默认 group size=128,这个数字是怎么来的?
- 选 group size 时要同时考虑哪些约束(kernel 支持、精度预算、硬件 tile)?
一、从 per-tensor 到 per-group:scale 粒度的三次细化
量化的核心公式很简单:q = round(w / s) + z,其中 s 是 scale(缩放因子),z 是 zero point(零点偏移),q 是量化后的整数。问题在于:一个 scale 管多少个权重?这就是粒度问题,它直接决定量化误差的结构。
- per-tensor:整个权重矩阵共用一个 scale。矩阵里只要有一个特别大的值,scale 就被它撑大,其余所有小值被压到整数网格的底部几格,相对误差爆炸。INT4 一共只有 16 个格子,per-tensor 基本不可用。
- per-channel:每个输出通道(矩阵的一行)一个 scale。行内数值分布通常比较均匀,INT8 下够用,但 INT4 下仍有问题——同一行内部也可能有局部的数值凸起,一个 scale 照顾不了行内差异。
- per-group:把每行再切成若干固定长度的小组(如 128 个元素),每组独立一对 scale 和 zero point。行内某一段数值偏大,只影响这一组的 scale,相邻组不受牵连。
用一个具体数字感受差异:一个 4096×4096 的权重矩阵,per-tensor 只有 1 个 scale,per-channel 有 4096 个,group size=128 的 per-group 有 4096 × 32 = 131072 个。scale 数量每上一个量级,量化误差对局部异常值的容忍度就改善一截——分组量化本质是用更多的 scale 存储换取更均匀的误差分布。
上图把三种粒度画在同一行权重上:粒度越细,单个离群值「污染」的范围越小。INT4 只有 16 个量化级,网格本来就稀,更需要细粒度来兜底。
二、数据布局:量化权重旁边多出来的那本「小账本」
per-group 量化后的权重不再只是一块 INT4 数据,而是三部分:
- 量化整数:每元素 4 bit(INT4),两个元素打包进一个字节;
- scale:每组一个,通常 FP16(2 字节);
- zero point:每组一个,可以存 INT4/INT8,很多实现对零点做对称化处理后直接省掉(对称量化 z=0)。
算一笔存储账。group size=128、INT4 权重、FP16 scale、非对称带 zero point:每 128 个权重,本体占 128×0.5 = 64 字节,scale 2 字节、zero point 约 0.5~1 字节,元数据开销约 4%~5%。也就是说 W4A16 的实际压缩率不是理论上的 4 倍(FP16→INT4),而是约 3.8 倍——group size 越小,这本「小账本」越厚。group size=32 时元数据开销就到 17% 左右,压缩率掉到 3.3 倍上下。
| group size | scale/zero 元数据占比(INT4 + FP16 scale) | 实际压缩率(对 FP16) | 典型精度表现 |
|---|---|---|---|
| 整行(per-channel) | <0.1% | ≈4.0 倍 | INT4 下 perplexity 明显劣化 |
| 128 | ≈4% | ≈3.8 倍 | 与 FP16 差距 1% 以内(主流甜点) |
| 64 | ≈8% | ≈3.7 倍 | 略好于 128 |
| 32 | ≈17% | ≈3.3 倍 | 接近无损,但 kernel 变慢 |
这张表是分组量化的核心权衡:往左走省存储但伤精度,往右走保精度但费存储还拖慢 kernel。下一节解释为什么连 kernel 速度都被卷进来。
三、kernel 效率:为什么 group size 小一圈,GEMM 就慢一截
W4A16 推理的 GEMM 流程是「边反量化边乘加」:从显存读出 INT4 权重,在寄存器/shared memory 里反量化回 FP16(w = s × (q - z)),再送进 tensor core 和 FP16 激活做乘加。group size 影响效率的机理有三层。
第一层:反量化指令密度。 每个组的 scale/zero 不同,反量化时每跨过一个组边界就要换一次 scale 寄存器值。group size=32 时,每 32 个元素换一组参数;group size=128 时,128 个元素才换一次。前者反量化相关的额外指令(加载 scale、减去零点、乘法)占比明显升高,挤占 tensor core 的发射窗口。
第二层:与硬件 tile 的对齐。 tensor core 的 GEMM 按 tile 计算(如 64×64、128×128 的块)。如果 group size 恰好等于或整除 tile 的 K 维长度,一个 tile 内所有元素共享同一组 scale,反量化可以在 tile 边界一次性完成;group size 与 tile 不对齐时,一个 tile 横跨多个组,kernel 要么拆 tile、要么在循环内部做分支判断,两种情况都掉性能。这就是 128 流行的重要原因之一:它恰好匹配主流 GPU tensor core GEMM 的常见 K 维 tile 长度。
第三层:shared memory 与寄存器压力。 每组一对 scale/zero 要先搬进 shared memory。组越小,同一块权重对应的元数据越多,shared memory 占用越高,occupancy(SM 上同时驻留的 block 数)被压低。Marlin 这类高度优化的 INT4 kernel 之所以只支持有限的几个 group size(典型是 -1 即 per-channel、128、64、32),就是因为每种粒度都要单独调一套数据排布和反量化流水线,不是改个参数就行。
上图的主循环里,「跨过组边界」这个判断的频率完全由 group size 决定:128 个元素一次还是 32 个元素一次,直接反映在每 token 生成耗时上。实测在 A100 上跑 7B 模型的 W4A16,group size 从 128 缩到 32,decoding 吞吐通常掉 10%~25%,具体幅度取决于 kernel 实现质量。
四、工程选型:128 是甜点,但不是定律
综合精度和效率,业界默认落在 group size=128,理由可以归纳成四点:
- 精度够:配合 GPTQ/AWQ 的二阶或激活感知校准,W4G128 在 7B~70B 模型上 perplexity 劣化普遍压到 1% 以内,下游任务精度损失可忽略;
- 对齐硬件:128 整除主流 GEMM tile 的 K 维,反量化在 tile 边界批量完成;
- 元数据薄:约 4% 的额外存储,压缩率维持在 3.8 倍;
- kernel 覆盖全:vLLM、TensorRT-LLM、llama.cpp(GGUF 的 Q4_K 本质是 group size=32 的变体加超块结构,另当别论)、Marlin、AWQ 官方 kernel 都把 128 当一等公民。
但有几个场景值得偏离默认值。模型特别小(1B~3B)时,每个权重被重复读的次数多、量化误差更敏感,可以降到 64 甚至 32 换精度;对延迟不敏感的离线批量推理,吞吐损失无所谓,也可以收小组要精度;反过来,端侧存储比算力更金贵的场景,有人用 per-channel 加 QAT 训练补偿,把元数据压到零。另外注意一个兼容性陷阱:量化格式与 kernel 是绑定的,用 group size=96 这种非标准值量化出来的模型,很可能找不到能跑的高性能 kernel,只能退回慢速参考实现——选型时先确认目标推理框架支持哪些粒度,再决定量化参数。
还有一条容易混淆的边界:分组量化管的是权重的 scale 粒度,激活量化有它自己的粒度体系(per-token 动态量化,见 per-token 激活量化)。W4A16 方案里激活保持 FP16,所以只有权重一侧有 group size 这个旋钮;到了 W4A4 或 W8A8,两个旋钮要一起调。
这一篇在知识体系里的位置
本篇是「低比特推理」线索里的粒度专题:上游是 INT8/INT4 量化与校准(量化误差从哪来、校准干什么)和 W8A8 与 SmoothQuant 的离群值处理(激活侧的同构问题);同层对照 GPTQ 与 AWQ 权重量化(分组量化之上的校准算法)与 INT4 GEMM 与 Marlin kernel(group size 如何落到具体 kernel 实现);下游延伸是 KV cache 侧的 KV cache INT4 量化,那里同样要面对「scale 粒度怎么选」的问题。
总结
分组量化把权重量化的 scale 粒度从整行细化到每 128(或 64、32)个元素一组,用约 4% 的元数据存储换来 INT4 下接近无损的精度;group size 越小精度越好,但反量化指令更密、元数据更厚、与 tensor core tile 更难对齐,kernel 吞吐随之下降——128 之所以成为业界默认甜点,正是因为它同时踩在精度够用、硬件对齐、kernel 覆盖全三个条件的交点上。