W4A16 kernel:GPTQ 4bit 权重如何在 GPU 上边解压边算 GEMM
更新时间:2026-10-02。上一篇 Weight-only 量化 GPTQ 与 AWQ 讲了 GPTQ 怎么把模型权重压到 4bit 而精度损失很小,当时留了一个钩子:权重存成 4bit 只是「省显存」,真正决定推理快不快的是推理 kernel 怎么吃这份压缩数据。这篇就把钩子拆开——W4A16 kernel(W4A16 = 权重 4bit、激活 16bit)是 weight-only 量化模型的标准执行方式:显存里只放 4bit 权重,kernel 在计算现场把它反量化回 FP16 再做矩阵乘。decode 阶段本来是带宽瓶颈,权重读取量直接除以四,单请求延迟往往降 2 倍以上。带宽瓶颈的背景可对照 GPU 显存层次与带宽,KV cache 侧的内存账见 KV cache 推理显存占用。
本文要回答的问题
- W4A16 里的 W4 和 A16 各指什么?为什么量化只压权重、不碰激活?
- 4bit 权重在显存里是怎么打包存放的,scale 和 zero-point 存在哪?
- 反量化融合 kernel 怎么在「读 4bit → 还原 FP16 → 做 GEMM」一条流水线里不落中间结果?
- 带宽收益 4 倍,为什么实测加速只有 2 倍左右?瓶颈切换到了哪里?
- W4A16 kernel 和 Marlin、AWQ kernel、W8A8 方案之间是什么关系,怎么选?
- 部署时最容易踩的坑有哪些,为什么「速度没宣传的快」多半是格式错配?
一、W4A16 是什么:只压权重的非对称量化推理
先拆名字。W4A16 意思是推理时权重(weight)用 4bit 整数存储、激活(activation)用 FP16 浮点。它属于 weight-only 量化推理路线,与 W8A8(权重和激活都压成 8bit,如 SmoothQuant)形成对照。
为什么只压权重?原因有两层。其一,激活难压:LLM 的激活分布里有少量幅度极大的 outlier 通道,压到 8bit 已经很勉强,压到 4bit 精度直接崩。权重分布则温和得多,GPTQ/AWQ 这类带校准的方法能把权重量化误差摊平。其二,收益结构不同:decode 阶段每步只处理一两个新 token,GEMM 退化成 GEMV(矩阵乘向量),算术强度极低,整个 step 的时间几乎全花在「把权重从 HBM 搬进 SM」上。此时压权重直接压搬运量,压激活对这个瓶颈毫无帮助——激活一共才几个 KB,本来就躺在寄存器里。
所以 W4A16 的定位非常清楚:它是为 decode 阶段定制的带宽优化方案。以 70B 模型为例,FP16 权重约 140 GB,压到 4bit 后约 35 GB——不仅单卡 A100(80 GB)从「根本放不下」变成「放得下还留一半给 KV cache」,每次 decode step 的权重搬运量也从 140 GB 降到 35 GB。A100 的 HBM 带宽约 2 TB/s,单看权重一项,FP16 的理论单步下限是 70 毫秒,W4A16 压到 17.5 毫秒——这 4 倍的差距就是整条优化路线的天花板,后面所有 kernel 工程都是在逼近它。
还有一个容易混淆的点要说清:W4A16 里的「4bit」是存储格式,不是计算精度。tensor core 做的仍是 FP16 乘加,中间累加用 FP32,数学上和 FP16 推理的差异只来自量化时引入的权重误差(GPTQ 校准后 perplexity 损失通常在 1% 量级以内),不存在「用 4bit 做算术」这回事。硬件层面的原生 INT4 tensor core(如 Blackwell 的 FP4)是另一条路线,W4A16 kernel 并不依赖它——这也是它能在 A100、H100、消费级 4090 上通吃的原因:只要卡有 FP16 tensor core 就能跑。
上图是 W4A16 的数据流全景:显存侧永远只有压缩数据,解压动作完全发生在片上(寄存器或 shared memory),这是「带宽收益 4 倍」这句话成立的前提——如果反量化结果要落回显存再读一遍,收益就打折了。
二、4bit 权重的打包布局:一个 INT32 里塞 8 个权重
4bit 不是硬件原生类型,需要打包。标准做法是把 8 个 4bit 权重按顺序塞进一个 32bit 整数,连续存放。这样一次 32bit 读取就拿到 8 个权重,向量化的 128bit 加载(float4 宽度)一次拿 32 个。
GPTQ 的主流格式(以 AutoGPTQ / ExLlama 系的 qweight 布局为例)还有几个关键细节:
- 分组量化(group-wise):不是整个权重矩阵共享一组 scale,而是每 128 个输入通道一组(
group_size=128),每组有自己的 FP16 scale 和 4bit zero-point。组越小误差越小,代价是元数据变多:group_size=128 时 scale 开销约为权重位的 3%(FP16 scale ÷ (128 × 4bit)),总模型大小约为纯 4bit 的 4.13 bit/权重。 - zero-point 非对称量化:还原公式是
w_fp16 = (q_int4 - zero) * scale,其中q_int4是 0~15 的存储值。zero 也打包成 4bit,和权重一样 8 个塞一个 INT32。 - 列交错排布:为了让 kernel 里线程束(warp)的访存合并(coalescing),权重常按列交错重排,相邻线程读相邻地址。这也是不同实现(AutoGPTQ、ExLlama、Marlin)格式互不兼容的原因之一——量化格式和 kernel 是绑死的,换 kernel 往往要重打包权重。
| 组件 | 位宽 | 存放位置 | 每 group(128 列)开销 |
|---|---|---|---|
| 权重本体 qweight | 4bit | 打包进 INT32,8 个/字 | 512 bit |
| scale | FP16 | 每组一个 | 16 bit |
| zero-point | 4bit | 打包进 INT32 | 4 bit |
| 合计等效位宽 | — | — | 约 4.16 bit/权重 |
这个表回答了「4bit 模型实际多大」:乘数不是 0.25 而是约 0.26——meta 数据是省不掉的零头,但相比 FP16 仍是四倍差距。
分组大小(group_size)是部署时最常调的旋钮,值得单独展开。取 128 是社区事实标准:误差与开销的平衡点。调小到 64 甚至 32,每组 scale 更贴合局部权重分布,perplexity 还能再压一点,但 meta 数据翻倍、kernel 里 scale 加载次数翻倍,模型体积和 kernel 开销同步上涨;调大到 1024 或干脆整列一组(group_size=-1),体积最省,但误差明显变大,70B 这种本来就压线放下的模型才考虑。经验法则:先把 group_size=128 跑通,精度不够先换 AWQ 或加校准数据,最后才动组大小——组大小是拿带宽换精度的旋钮,而 W4A16 的整个立足点恰恰是带宽。
解包这一步也有微架构细节:连续 8 个 4bit 值在同一个 INT32 里,解包是 8 次「移位 + 与」;为了配合 tensor core 的寄存器布局(每个线程持有特定的矩阵片段),有些实现会在打包时就把 8 个值的顺序预重排成 mma 指令想要的顺序,kernel 里解包完直接用,省掉一次 shared memory 中转。这类「打包顺序服从计算顺序」的设计是 Marlin 快的重要原因之一,也再次说明量化格式不是中立的容器,而是和 kernel 一起设计的。
三、反量化融合 kernel:流水线里不落中间结果
W4A16 kernel 的核心技术动作是融合(fusion):把「解包 → 反量化 → 矩阵乘」写进同一个 kernel,中间结果只活在寄存器里。如果拆成两个 kernel——先反量化出整个 FP16 权重矩阵、再调 cuBLAS 做 GEMM——那就要在显存里临时摊出一份 FP16 权重(70B 模型就是 140 GB 级别的写入加读取),带宽收益荡然无存,纯属负优化。所以生产实现里没有人这么做,W4A16 kernel 默认就是 fused 的。
一次典型的分块执行流程(以 tile 为单位):
- 加载:从 HBM 向量读取一段打包权重(INT32 数组)和对应的 scale、zero 到寄存器/shared memory。
- 解包:用位运算把 INT32 拆成 8 个 4bit 值——
q = (packed >> (4*i)) & 0xF,一次移位一次与,成本极低。 - 反量化:整数转 FP16(
int2half或查表),减 zero、乘 scale,得到 FP16 权重片段。这步在寄存器里完成,不落显存。 - 累乘:FP16 权重片段 × FP16 激活片段,用 tensor core 的
mma指令(FP16 输入 FP32 累加)累进输出寄存器。 - 循环遍历整个 K 维(输入通道维),输出写回显存。
上图的循环结构有一个值得注意的隐含事实:反量化的计算开销被 GEMM 的访存时间掩盖了。decode 时 GEMV 每搬 1 字节权重只做 2 次乘加,SM 有大量空闲算力周期,位运算和几条 FMA 塞进去毫无压力。这就是为什么「多了一步反量化」却没有变慢——在带宽瓶颈场景下,算力本来就是白送的。这个「用空闲算力换带宽」的思路和 KV cache INT4 量化 完全同构。
但 prefill 阶段逻辑反过来了:prompt 成百上千 token 一起算,GEMM 算术强度拉满,tensor core 忙不过来,此时反量化那几条指令就成了纯额外开销。所以 W4A16 kernel 的收益曲线是:batch 越小、越接近纯 decode,加速越明显;batch 大了以后(GEMM 变成算力瓶颈),相对 FP16 反而可能略慢。生产引擎的做法是按 batch 分流——小 batch 走 W4A16 kernel,大 batch 走 FP16 GEMM(权重常驻两份或按需 dequant 出一份大的),vLLM、TensorRT-LLM 里都有这类混合调度。
四、带宽收益的实际账:4 倍理论、2 倍实测
理论账很简单:decode 时间 ≈ 权重搬运时间,权重 ÷4,时间 ÷4。实测普遍只有 1.8~2.5 倍(单请求、A100 级、70B 模型),差额花在了三处。
第一处是反量化与解包的指令开销。虽然前面说算力空闲,但那是在「理想重叠」前提下;真实的访存延迟(几百个时钟周期)要靠足够多的活跃 warp 去掩盖,小 batch 下 occupancy 拉不满,解包指令就暴露在关键路径上。第二处是meta 数据与不规则访存:scale/zero 的加载、分组边界处理、打包格式的索引换算,都吃带宽和指令槽。第三处是模型里没被量化的部分:embedding、lm_head、LayerNorm、attention 的 QK^T 和 softmax、以及整个 KV cache 的读写——这些照旧 FP16,时间一分不少。按阿姆达尔定律,权重 GEMM 哪怕快到无穷,总时间也有个由「其余部分」决定的地板。
上图的比例是示意(具体分布随模型和 batch 变化),但结构是普适的:W4A16 只优化权重搬运那一段,其余段纹丝不动。这引出两个工程推论:其一,想要更多 decode 收益,得把 W4A16 和 KV cache 量化、注意力优化(如 FlashDecoding 的 split-K)叠加起来,分段围剿;其二,长上下文场景里 KV 读写那一段占比变大,W4A16 的相对收益会被稀释——先量清楚自己的时间分布再上优化,别拍脑袋。
测量方法上给一个可直接照做的建议:用 Nsight Systems 或引擎自带的指标把单步时间拆成「GEMM 时间」和「非 GEMM 时间」两段,先跑 FP16 基线、再跑 W4A16。如果 GEMM 段没有接近 3~4 倍的下降,说明 kernel 没跑在带宽上限上——常见原因是 batch 太小导致 warp occupancy 不足(试试 Marlin 或调大 tile),或者权重格式与 kernel 不匹配走了回退路径(vLLM 日志里会有 gptq_marlin 是否命中的提示)。如果 GEMM 段降了但整体提速远低于预期,那就是阿姆达尔地板到了,下一步该优化的是注意力和 KV 路径,继续在权重上榨没有意义。这个「分段测量 → 定位瓶颈段 → 选对应优化」的循环,比盲目换 kernel 重要得多。
五、生态选型:Marlin、ExLlama、AWQ kernel 与 W8A8 的边界
W4A16 是格式范式,落地实现有好几代。AutoGPTQ 自带的 CUDA kernel 是元老,正确但不算快;ExLlama 系针对单请求 decode 深度调优;Marlin(详见 INT4 GEMM Marlin kernel)重新设计了数据布局和 warp 分工,把反量化与 mma 的重叠做到极致,batch 1~16 区间基本打到带宽上限,目前是很多引擎的默认;AWQ 模型有自家 kernel,量化误差更小但格式不同,需要按权重来源选配套实现。好消息是 vLLM、TensorRT-LLM 已经把这些差异封装在 --quantization gptq_marlin 这类开关后面,用户侧基本无感。
上图把「按 batch 分流」画成了调度决策:同一个模型、同一次服务,不同 step 可以走不同 kernel——decode 步 batch 小走 W4A16,chunked prefill 的大块计算走 FP16 GEMM。分流阈值不是物理常数,而是各引擎在自家硬件上实测出的拐点(Marlin 论文里这个拐点大约在 batch 16~32 之间),这也是为什么换卡之后要重新 benchmark 而不是照抄参数。
| 维度 | W4A16(GPTQ/Marlin) | W8A8(SmoothQuant 类) | FP16 基线 |
|---|---|---|---|
| 权重显存 | 约 0.26 倍 | 0.5 倍 | 1 |
| 激活精度 | FP16(无误差) | INT8(有量化误差) | FP16 |
| decode 加速来源 | 带宽 ÷4 | 带宽 ÷2 加 INT8 tensor core | — |
| prefill 表现 | 大 batch 可能略慢 | 算力翻倍(INT8 mma) | 基线 |
| 适用场景 | 单卡小 batch 服务、显存吃紧 | 大 batch 高吞吐、算力瓶颈 | 显存充裕时最省心 |
选型一句话:显存不够或 batch 小,W4A16;吞吐优先且 batch 大,W8A8;都有富余就别量化。W4A16 与 INT8/INT4 校准方法(见 INT8/INT4 量化与校准)的关系也要分清:校准决定「量化误差多小」,kernel 决定「压缩收益兑现多少」,两者是正交的两道工序,GPTQ 负责前一道、Marlin 负责后一道,组合起来才是完整的落地方案。
最后补两个真实部署里常见的坑。一是格式与引擎版本错配:社区上下载的 GPTQ 模型可能是旧的 desc_act(激活序重排)格式或老 packing 顺序,新引擎加载后要么报错要么静默走慢速回退 kernel,表现是「速度远没有宣传的快」——用引擎自带的 benchmark 脚本先跑一次再上线。二是多卡张量并行下的格式兼容:W4A16 权重按列切分到多卡时,分组边界必须落在 group_size 的整数倍上,否则每卡拿到不完整的组,scale 对不上。hidden size 不是 128 倍数的小模型(一些 1B~3B 模型)切 4 卡时就会撞上这个边界,要么换切分维度、要么退回单卡。这两个坑的共同教训:W4A16 是「格式 + kernel + 并行切分」三位一体的方案,任何一环对不上,收益就悄悄消失。
这一篇在知识体系里的位置
本篇是「LLM 推理优化」线索里 weight-only 量化的执行层:上游是 Weight-only 量化 GPTQ 与 AWQ(权重怎么压出来的)与 GPU 显存层次与带宽(decode 为什么是带宽瓶颈);同层对照 INT4 GEMM Marlin kernel(W4A16 的高性能实现细节)、W8A8 SmoothQuant(激活也量化的另一条路线)与 FP8 E4M3/E5M2 推理(新一代硬件上的浮点压缩路线);下游延伸到 KV cache INT4 量化 与 PagedAttention——把权重、KV、显存管理三段的优化叠满,才是完整的低延迟推理服务。
总结
W4A16 kernel 让 GPTQ 4bit 权重始终以压缩态住在显存里,只在片上寄存器中即时解包、反量化回 FP16 再交给 tensor core 做矩阵乘——权重搬运量降为四分之一,decode 这个纯带宽瓶颈场景实测提速约两倍;代价是大 batch 的 prefill 阶段可能略慢,所以生产引擎按 batch 在 W4A16 与 FP16 GEMM 之间分流,用空闲算力换带宽的思路在这里完成了最经典的一次落地。