KV cache int8 量化速查:SmoothQuant 式 per-channel scale 怎么定、精度损失怎么验
更新时间:2026-10-06。前面 KV cache 推理显存 讲过 KV cache 为什么是长上下文的第一显存杀手,W8A8 SmoothQuant 离群值 讲过激活量化的离群通道问题。KV cache int8 量化是这两者的交叉:对缓存下来的 K/V 张量做 int8 存储,显存直接砍半,长上下文并发容量近乎翻倍。本篇是工程速查:scale 怎么定、K 和 V 为什么用不同粒度、精度怎么快速验证。
本文要回答的问题
- K 和 V 的量化粒度为什么不一样(per-channel 与 per-token)?
- scale 从哪来,需不需要校准集?
- int8 KV 的精度损失量级是多少,怎么验证没翻车?
一、粒度分工:K 按通道、V 按 token
KV cache int8 的核心公式就一行:存 int8 = round(fp16 / scale),用时 dequant = int8 × scale。全部学问在 scale 的粒度选择上,而 K 和 V 的最优粒度恰好不同。
K 的麻烦是通道间数值范围差异巨大(少数离群通道的幅值可能是普通通道的几十倍),这和激活量化里的离群通道同源。如果对整个 K 张量用一个 scale(per-tensor),离群通道会把 scale 撑得很大,普通通道的有效分辨率被压到只剩几格,精度崩盘。所以 K 用 per-channel scale:每个通道一条 scale,离线从校准数据统计各通道的最大幅值即可,一次校准全模型复用。
V 的通道分布则温和得多,但它的使用方式是按 token 逐行读取,per-token scale(每行一条 scale)更贴合——数值范围随行自适应,且 dequant 时一行一个乘法,kernel 实现顺手。
| 张量 | 推荐粒度 | 原因 | scale 来源 |
|---|---|---|---|
| K | per-channel(静态) | 通道间幅值差几十倍,有离群通道 | 校准集统计,固定 |
| V | per-token(动态) | 分布温和,按行读取 | 运行时按行求 max,免校准 |
数感上对比一下三种粒度的实际效果:per-tensor 量化 K 在 7B 模型上困惑度升幅可达 5% 以上(不可接受),per-channel 压到 1% 以内,per-token 对 K 也不错但 dequant kernel 里要按列取 scale、和 FlashAttention 的分块读取模式不匹配,工程上反而难做。粒度选择从来不是「越细越好」,而是「统计特性匹配 + kernel 访存模式匹配」的交集,K per-channel 加 V per-token 正是这个交集的标准答案,vLLM、TRT-LLM、SGLang 的 int8 KV 实现都收敛到了这套组合。
还有一个实现层的细节值得知道:per-token 动态 scale 虽然免校准,但要求 attention kernel 在写 KV 时顺手算行最大值并额外存一份 scale 数组(每 token 每头一条 fp16),这部分元数据开销约为缓存本体的 1%~3%,规划显存时别忘了算进去。
二、scale 校准与 SmoothQuant 的迁移思想
K 的 per-channel scale 离线校准流程:取 128~512 条覆盖线上长度分布的真实 prompt,跑一遍前向,逐通道记录 K 的绝对值最大值(或 99.9 分位数防离群点),scale_c = max_c / 127。校准集不需要标注,只需要分布像线上流量——用纯英文语料校准中文为主的业务是常见翻车点,离群通道的幅值随语言分布漂移明显。分位数的选择是个小权衡:取绝对最大值最稳但 scale 偏大、普通通道浪费分辨率;取 99.9 分位数会把 0.1% 的极端值截断(clamp)到 ±127,换来全通道更紧的 scale,实测精度更好。校准脚本跑完后把各通道 scale 的直方图看一眼,理想形态是大部分通道 scale 集中在同一量级、少数离群通道高出 5~20 倍;如果所有通道 scale 都接近,说明这个模型的 K 很温和,甚至可以退化到 per-tensor 省事;如果离群通道高出 50 倍以上,per-channel 也救不回来,要回到 SmoothQuant 的平滑迁移那一步。
校准频率的问题也一并回答:scale 只和模型权重与输入分布有关,模型不变、流量结构不变就不需要重校;换模型版本、微调 checkpoint、业务新增一类长文档场景时才需要重跑。把校准产物(每层每头的 scale 数组)纳入模型制品一起版本管理,不要散落在部署脚本里。
SmoothQuant 的思想在这里以简化形式出现:权重量化那篇讲的「把激活的离群难度迁移给权重」在 KV 场景不需要完整的 α 迁移,因为 K 只和自己的 RoPE 前投影权重打交道,很多引擎直接对 K 投影权重做 per-channel 平滑就压住了离群幅值。如果校准后发现个别通道依然爆表(scale 比中位数大 10 倍以上),先检查 RoPE 应用顺序——先量化再旋转和先旋转再量化的数值范围不同,主流实现选择缓存 RoPE 之后的 K(省去 decode 重复旋转),scale 校准也必须按同一顺序采集。
三、精度验证速查
int8 KV 的典型精度代价:困惑度(perplexity)上升 0.5%~1.5%,长上下文基准(RULER、LongBench)掉 1~3 分,对话质量人评几乎无感。远超这个区间就是实现或校准有问题。有一个现象值得预先知道:精度损失随上下文长度单调放大——2K 上下文几乎无感,32K 开始可测,128K 处损失可能翻倍,因为长序列里 attention 要从更多量化 KV 里挑出正确的少数项,量化噪声对 soft max 长尾的扰动被累积。所以验证集的长度分布必须覆盖线上实际上限,拿 4K 短文验出来的「无损失」结论不能外推到 128K 业务。三步验证法:
第一步,离线快筛:固定 32 条长 prompt,分别用 fp16 和 int8 KV 生成 200 token,对比输出文本的 token 级一致率,低于 95% 直接排查。第二步,困惑度对比:wikitext 上 fp16 与 int8 各跑一次,ppl 升幅超 2% 查 scale 校准顺序和粒度配置,优先怀疑 RoPE 顺序不一致和 GQA 头数维度混用这两个高频根因。第三步,线上影子:5% 流量开 int8,盯 TTFT/TPOT 指标 和采样通过率(有投机解码时,接受率是极灵敏的精度探针,见 投机解码接受率),48 小时无回归再全量。
收益侧的数字同样好记:int8 KV 把缓存显存砍半,等效于同卡并发数接近翻倍,或上下文长度上限翻倍;decode 的 attention kernel 读 int8 还省一半显存带宽,长序列 TPOT 可再降 5%~15%。想要更激进的 4 bit,看 KV cache int4 量化,那是另一套分组 scale 的玩法。
三个最常见的翻车点收拢在这里备查。其一,校准语料与线上分布不符——上面已说,中文业务别拿英文语料校准。其二,GQA 模型的 K/V 头数远少于 Q 头数,scale 数组的维度按 K/V 头数而非 Q 头数分配,混用会直接段错误或静默读错数据,排查时先打印 scale 张量 shape 对模型配置。其三,分页 KV 引擎(PagedAttention)里 scale 元数据要跟着 block 表走,跨 block 的前缀复用(prefix caching)场景下,复用的 int8 块必须连带原 scale 一起引用,重新量化会引入二次误差——这个 bug 的表现是「开了 prefix cache 后长对话质量缓慢劣化」,非常难查,值得写进 code review 清单。
最后回答「什么时候不该开 int8 KV」:短上下文(平均 2K token 以内)、显存充裕的服务,量化省下的显存用不上,却要承担 1% 量级的精度损失和 kernel 复杂度,不划算;它的主场是长上下文(32K 以上)高并发服务,那里 KV cache 占显存过半,砍半等于容量翻倍,精度代价在业务噪声以内。
这一篇在知识体系里的位置
本篇是 KV cache 压缩线的 int8 速查:上游 KV cache 推理显存(为什么压)、W8A8 SmoothQuant 离群值(量化方法论);同层 KV cache int4 量化、GQA/MQA 省 KV(结构上减少 KV 的互补手段)。
总结
KV cache int8 量化的口诀是「K 按通道、V 按 token」:K 有离群通道必须离线校准 per-channel scale(128~512 条像线上的语料、按 RoPE 后顺序采集、取 99.9 分位数),V 分布温和运行时逐行动态求 scale 免校准;显存砍半、并发近乎翻倍、长序列 TPOT 再降 5%~15%,代价是 ppl 升 0.5%~1.5%——验证走「token 一致率快筛、困惑度对比、线上影子盯接受率」三步,超阈值先查 scale 顺序和粒度配置。