KV 缓存量化:INT4/INT8 压缩、per-channel 与 per-group 粒度、精度补偿技巧
更新时间:2026-09-30。长上下文推理里,显存的真正大头往往不是权重,而是随序列长度线性增长的 KV cache——128K 上下文的 70B 模型,单请求 KV cache 就能吃掉几十 GB。KV cache 与推理显存的关系 讲过容量怎么算,PagedAttention 与 vLLM 推理服务 讲过怎么用分页管理省碎片。本篇讲另一条更狠的路:直接把 KV cache 里的每个数从 FP16 压到 INT8 甚至 INT4,显存立刻减半或四分之一——代价是注意力分数被注入量化噪声,控制不好就会掉精度。KV 缓存量化的全部学问,就在于怎么把这点噪声管住。
本文要回答的问题
- KV cache 为什么比权重更难量化,K 和 V 的数值分布有什么不同?
- INT8 与 INT4 各能省多少显存,误差分别落在哪?
- per-token、per-channel、per-group 三种量化粒度怎么选?
- 离群通道、平滑、旋转、混合精度这些补偿手段各自解决什么问题?
一、KV cache 为什么难量化
权重量化的经验不能直接搬过来,原因有三。
其一,离群值位置不同。大量实测表明,K(Key)的数值分布存在少量「离群通道」:某些固定通道的幅度可以是中位数的几十倍,而且不随 token 变化。V(Value)的分布则温和得多,更接近高斯。这决定了 K 和 V 不能用同一套策略——K 适合按通道定缩放因子,V 按 token 定反而更准。
其二,在线生成,无法离线校准。权重可以在部署前拿校准集慢慢算缩放因子,KV cache 是 decode 每步现算现存的,缩放因子必须边跑边估,预算极低。
其三,误差会被注意力机制放大。softmax 是指数函数,Q·K 上一个看似微小的量化偏差,经过 exp 后可能把某个不相关 token 的注意力权重放大数倍,直接污染输出。这就是为什么 KV cache 量化到 INT4 时,首先要保护的是注意力分布的形状,而不是每个数的绝对精度。
量化误差 → 注意力偏移的链条可以这样看:
这张图解释了为什么粒度是 KV 缓存量化的第一决策变量:缩放因子覆盖的范围里只要混进一个离群值,其余小值就被压缩到几乎没有分辨力,误差顺着链条逐级放大。
二、INT8 与 INT4:省多少,亏多少
FP16 每元素 2 字节,INT8 省一半,INT4 省四分之三。以 70B 模型、80 层、GQA 后 8 个 KV 头、128 维、128K 上下文为例:FP16 KV cache 约 40 GB,INT8 降到约 20 GB,INT4 约 10 GB——直接决定一张卡能同时服务多少条长上下文请求。
| 位宽 | 每元素字节 | 显存(相对 FP16) | 典型精度损失 | 适用场景 |
|---|---|---|---|---|
| FP16 | 2 | 100% | 基准 | 短上下文、精度敏感 |
| INT8 | 1 + 元数据 | 约 52% | 困惑度上升 <0.5%,基本无感 | 生产默认档 |
| INT4 | 0.5 + 元数据 | 约 28% | 不补偿时明显掉点,补偿后可接受 | 超长上下文、吞吐优先 |
| INT2 | 0.25 | 约 15% | 仅特定模型与技巧下可用 | 研究前沿 |
INT8 基本是「免费午餐」:per-channel 缩放 + 简单校准就能做到精度无损。INT4 是分水岭——不补偿时困惑度可能上升 5% 以上,长文本检索类任务(大海捞针)最先崩,因为关键 token 的注意力恰好最容易被量化噪声淹没。
三、三种量化粒度的取舍
缩放因子的覆盖范围叫量化粒度,三档常见选择:
- per-token:每个 token 的所有通道共享一个缩放因子。硬件友好(向量指令一次除完),但 K 的离群通道会毁掉整行,适合 V。
- per-channel:每个通道共享一个缩放因子,跨所有 token。完美匹配 K 的离群结构,但 decode 时新 token 来了要按既有通道因子量化,且反量化时每个通道乘不同系数,kernel 稍复杂。
- per-group:每 32~128 个元素一组,组内一个缩放因子。是前两者的折中,离群值只连累本组,INT4 下几乎是必选。
实测组合里最常见的不对称配置是:K 用 per-channel(或 per-channel + group 细分),V 用 per-token。原因回到第一节的分布差异——K 的离群值按通道聚集,V 的离群值按 token 偶发。group size 的选择是显存与精度的直接权衡:group=128 时元数据开销约 3%,group=32 时升到 12% 左右,但精度明显更好。
四、精度补偿四招
粒度选对之后,还有四类常用补偿技巧,针对的痛点各不相同。
1. 保留少量 FP16 前缀(residual window)。最近的 128~256 个 token 对当前预测影响最大,把它们留在 FP16,只对更早的历史做低比特量化。开销几乎为零,长文本任务收益显著——因为检索时 query 最近、被检索内容往往久远,久远部分的 K 已经被平滑到不容易出错。
2. 平滑与旋转变换。借鉴权重量化的思路:K 的离群通道可以通过乘一个逐通道缩放(迁移到 Q 上)被「摊平」,或者对 Q、K 同时乘同一个旋转矩阵——Q·K 内积在旋转下不变,但旋转后数值分布更均匀,量化友好。Hadamard 旋转矩阵因为没有乘法只有加减,硬件代价最低,是目前 INT4 KV 量化的主流前置步骤。
3. 非均匀量化与查找表。INT4 的 16 个码字不必均匀分布,按 K/V 的实际直方图做 k-means 聚类得到码本,等价于给常见值更高分辨率。代价是反量化从一次乘法变成查表,kernel 实现更麻烦。
4. 敏感层混合精度。不同层对量化的敏感度差异很大:前几层和负责检索/归纳的 induction head 所在层最脆弱。给最敏感的 10%~20% 层留 INT8,其余 INT4,显存开销只增加几个百分点,精度常常能追回大半。通用 PTQ 校准方法可参考 INT8 量化:PTQ 与 QAT,逐层敏感度分析的校准流程在 INT8/INT4 量化校准 里有更完整的讨论。
| 技巧 | 针对的痛点 | 显存代价 | 实现复杂度 |
|---|---|---|---|
| FP16 近期窗口 | 近期 token 误差最伤 | 固定 128~256 token | 极低 |
| 逐通道平滑/旋转 | K 的离群通道 | 几乎为零 | 低(改投影矩阵) |
| 非均匀码本 | 均匀量化分辨率浪费 | 码本存储 | 中(kernel 查表) |
| 敏感层混合精度 | 层间敏感度差异 | 少量增加 | 低(按层配置) |
五、落地检查清单
上线 KV 缓存量化前过一遍:K 是否用了 per-channel 或细粒度 group(per-token 量 K 是新手最常见的坑);是否保留 FP16 近期窗口;INT4 下是否加了旋转变换;用「大海捞针」这类长上下文检索任务做过回归测试(只看困惑度会漏掉检索类退化);量化元数据(缩放因子、zero-point)的显存开销是否计入容量规划;与 PagedAttention 与 vLLM 推理服务 的分页布局是否兼容——量化后的块大小变化会影响 page table 的对齐策略,vLLM 的 FP8 KV cache 支持就是按这个思路做的。
这一篇在知识体系里的位置
- 上游:KV cache 与推理显存 讲容量公式与 GQA/MQA 的压缩思路,本篇是位宽维度上的进一步压缩。
- 横向:INT8 量化:PTQ 与 QAT 与 INT8/INT4 量化校准 提供通用的量化方法论,本篇是它在 KV cache 这个特殊张量上的适配。
- 下游:PagedAttention 与 vLLM 推理服务 讲量化后的 KV cache 如何在 serving 框架里被分页调度。
总结
KV 缓存量化把推理显存的大头从 FP16 压到 INT8(省一半)或 INT4(省四分之三),难点在于 K 存在按通道聚集的离群值且误差会被 softmax 指数放大;工程上的标准打法是 K 用 per-channel、V 用 per-token 的不对称粒度,INT4 时叠加 per-group 细分、Hadamard 旋转摊平离群通道、FP16 近期窗口和敏感层混合精度四重补偿,就能在长上下文检索任务上把精度损失压到可接受范围——位宽省显存、粒度保精度、补偿追底线,三者缺一不可。