FP8 KV 误差预算:E4M3 KV 量化的误差来源拆解与精度恢复手段
更新时间:2026-10-07。FP8 E4M3/E5M2 推理 讲过两种 FP8 格式的位分配和动态范围差异,KV cache INT4 量化 讲过更激进的整数量化路径,INT8 KV 与 SmoothQuant 讲过通道平滑怎么压住激活离群点。本篇聚焦 FP8 KV 误差预算这个工程问题:E4M3 只有 3 位尾数,把 FP16 的 KV 压进去之后误差到底从哪来、各占多大份额、每一分钱预算该花在哪个恢复手段上。
本文要回答的问题
- E4M3 量化 KV cache 的误差由哪几个独立来源构成,各自的量级大概是多少?
- 为什么 K 和 V 要分开给误差预算,V 通常比 K 更敏感?
- per-tensor、per-channel、per-token 三种 scale 粒度对误差的压制效果差多少?
- 预算不够时,平滑、混合精度、残差补救这几招按什么顺序上?
一、误差账本:E4M3 压 KV 的四笔开销
E4M3 是 1 位符号、4 位指数、3 位尾数的 8 位浮点格式,动态范围约 ±448,有效精度相当于尾数带来的 2^-4 级相对误差,也就是每存一个数最多损失约 6% 的相对精度(实际 RMS 相对误差在 3%~4%)。对比 FP16 的 10 位尾数(RMS 相对误差约 0.05%),这是接近两个数量级的精度落差。KV cache 里的每个 K、V 元素都要过这一道,所以第一笔误差是存储舍入误差,它不可避免,是预算里的固定成本。
第二笔是scale 估计误差。E4M3 的动态范围窄,实际数值几乎总要先乘一个缩放因子 s 再量化,反量化时除回去。s 取小了,张量两端的值溢出被夹到 ±448(饱和误差);s 取大了,小值被压到 E4M3 的次正规区甚至归零,相对误差暴涨。scale 一般用校准集上的 max 或分位数估计,推理时真实数据的分布一旦漂移,这笔误差就从零冒出来。
第三笔是注意力分数的间接误差。K 被量化后,Q·K 点积的每个元素都带噪,softmax 又是个指数放大器——logits 上 ε 的扰动经过 softmax 后变成约 p·(1-p)·ε 的概率扰动,对接近 0.5 的注意力权重影响最大。换句话说,K 的量化误差不是线性传递,而是被 softmax 非线性放大或压缩,取决于当前注意力分布的形状。
第四笔是V 加权求和的累积误差。输出是 Σ pᵢ·Vᵢ,上下文越长、参与求和的 token 越多,各 Vᵢ 的独立量化噪声按平方根累积,32K 上下文下噪声幅度约放大到单 token 的百倍以上量级里的 √N 倍——好在是随机噪声不是系统性偏置,√N 而不是 N,这笔账还能接受,但它是长上下文场景预算收紧的主因。
这张图把四笔误差按数据流串起来:原始 KV 从进入量化器开始,每一环节都在往账本上记账。要重点盯的是第二笔——其余三笔在模型和格式定下后基本固定,只有 scale 估计误差随线上数据分布漂移而恶化,是运维期唯一会「长大」的误差源。
二、K 和 V 不一样:预算为什么要分开记
经验事实是:同样用 E4M3 量化,V 的精度损失对最终输出的影响通常大于 K。原因有两层。其一,K 的误差要经过 softmax 这道「洗牌」,softmax 输出是归一化的概率,小幅 logits 噪声在很多 token 上相互抵消;而 V 的误差直接进加权求和,没有任何归一化兜底。其二,K 矩阵经过 RoPE(旋转位置编码,把位置信息以旋转方式注入 Q/K)之后,不同位置的 K 误差在点积里有一定的随机化效果,近似独立噪声;V 没有这层处理,通道维度的系统性偏差(比如某个通道长期偏大被饱和)会原样传到输出。
但这不意味着 K 可以随便压。K 侧有一个 V 没有的陷阱:softmax 的输入是 logits,决定「看谁」;一旦量化噪声把某个关键 token 的 logits 压过注意力阈值,模型会系统性地「看漏」这个 token,这类错误不是噪声而是检索失败,在长文本问答里表现为丢失远处关键信息。所以预算分配的经验原则是:V 的 RMS 误差要压得更低,K 要重点防饱和和系统性偏置。很多实现干脆给 K 和 V 用不同的 scale 更新策略甚至不同的量化粒度,这在工程上是合理的。
图里两条路径并排:K 的噪声走上面一条,经过 softmax 有抵消机制但要防「看漏」;V 的噪声走下面一条,直通输出。理解这张图就知道为什么很多论文和实现里 K/V 量化配置不对称——比如 K 用 per-token 粒度、V 用 per-channel 粒度,正是按两条路径的误差传递特性分别下药。
三、scale 粒度:预算花在哪最值
scale 粒度是 FP8 KV 量化最大的可调旋钮,三种选择对误差的压制能力差着一个量级。
| 粒度 | scale 数量 | 饱和风险 | 次正规区风险 | 典型 RMS 相对误差 | 适用场景 |
|---|---|---|---|---|---|
| per-tensor | 1 个/张量 | 高 | 高 | 3%~5% | 快速验证、短上下文 |
| per-token | 1 个/token 向量 | 中 | 中 | 1.5%~3% | K 侧常用 |
| per-channel | 1 个/通道 | 低 | 低 | 0.8%~2% | V 侧常用、长上下文 |
per-tensor 是整个 KV 张量共享一个 scale,任何离群通道都会把 scale 撑大,其余通道的有效精度被白白牺牲。per-channel 给每个通道独立 scale,离群通道不再拖累别人,代价是反量化时多一次按通道广播的乘法,以及 scale 表本身的存储(对 8 位数据来说 scale 通常用 FP16 存,每通道 2 字节,相比 FP16 原始数据仍然省了近一半显存)。
为什么 K 侧常配 per-token、V 侧常配 per-channel?K 的分布沿 token 维度变化大(不同位置的 token 激活幅度差很多),沿通道维度相对平滑,per-token 正好对症下药;V 反过来,通道间的幅度差异稳定而显著(总有那么几个「大通道」),per-channel 收益最大。这个规律和 INT8 KV 与 SmoothQuant 里观察到的激活通道离群现象是同一回事,只是 E4M3 的动态范围比 INT8 宽,对离群点的容忍度好一些,平滑的紧迫性略低。
四、误差预算怎么定:从 SLO 倒推每环节的配额
「预算」这个词的意思是:先定可接受的总精度损失,再倒推出每个误差来源允许占多少。可操作的做法是用困惑度(perplexity,衡量模型对文本预测不确定性的指标,越低越好)或下游任务准确率做总闸门:比如规定 FP8 KV 版本相对 FP16 基线,WikiText 困惑度上升不超过 0.5%,MMLU 掉点不超过 0.3 个百分点。
然后把总预算拆到环节。一个经过验证可用的参考配额(以输出误差的方差贡献计):存储舍入误差占 40%(格式决定,压不动),scale 估计误差配额 25%(靠校准和在线更新控制),softmax 路径配额 20%(靠 K 侧粒度和防饱和控制),求和累积配额 15%(长上下文下这是硬约束,只能靠 V 侧粒度压)。任何一环超配额,就知道该往哪里投优化手段,而不是盲目全面加精度。
测量上给一个可复现的流程:固定一组校准数据(建议 512 条覆盖线上长度分布的样本,短对话、中长文档、代码各占一定比例),分别量化 K-only、V-only、K+V 三种配置跑评估,两两对比就能把 K 侧和 V 侧的误差贡献分离出来。如果 K-only 量化几乎不掉点而 V-only 掉点明显,说明预算大头在 V 路径,优先给 V 上 per-channel;反之亦然。这个二分实验一天就能跑完,比读十篇论文更能指导你自己的模型。
预算还要随上下文长度分档。4K 以内短上下文下求和累积那笔账很小,per-tensor 粒度加在线 scale 往往就能过闸门;16K 以上求和累积开始咬人,V 侧 per-channel 变成必选项;64K 以上的超长上下文还要额外考虑「误差的时间结构」——早期 token 的 KV 在显存里躺得久,被读取加权的次数多,它们的量化误差被反复放大,所以超长上下文场景里「近期窗口保 FP16」的窗口要相应加宽,或者干脆对超过一定驻留时间的 KV 块做二次压缩(FP8 再降 INT4),把预算重点留给真正会被高频访问的部分。这个思路和 KV cache 驱逐策略 里按访问热度区分 token 重要性的做法一脉相承,只是这里用精度而不是去留来表达重要性。
五、精度恢复手段:按性价比排序的工具箱
预算不够时,恢复手段按性价比从高到低排:
- 在线 scale 更新:不静态固定 scale,而是对最近写入的 KV 滑动窗口重新估计 max,周期性更新。几乎零成本,直接消灭分布漂移带来的第二笔误差。代价是反量化 kernel 要读动态 scale 表,实现略复杂。
- V 侧 per-channel 粒度:上面已论证,投入一次性的 kernel 改造,长期收益。
- 新 token 高精度窗口:最近 64~256 个 token 的 KV 保持 FP16,老的压到 E4M3。依据是注意力分布通常向近期 token 倾斜(局部性),近期 KV 的权重 p 大,误差被 p 加权放大。这招用 10% 不到的显存开销换回一半以上的精度损失回补,是长上下文场景的甜点。
- 通道平滑:把 K/V 里的通道离群点除以一个平滑因子转移到别的路径承担,思路和 INT8 KV 与 SmoothQuant 一致。E4M3 动态范围比 INT8 宽,平滑收益相对小,排在第四位。
- 敏感层豁免:实测通常有那么 2~4 层(往往是第一层和最后几层)对 KV 量化异常敏感,给这几层单独保持 FP16,其余层 E4M3。成本是显存节省打折,效果是「花小钱办大事」。
上图是恢复手段的叠加顺序:每上一招就重新跑一遍评估,困惑度回到预算内就停手——不要一次全上,手段之间会互相稀释收益,全上反而看不清哪招起了作用,也给后续维护埋雷。
和 FP8 attention kernel 缩放 里讲的 kernel 内 dequant/rescale 配合时,注意 scale 的存放位置:如果 dequant 在 attention kernel 内部做(如 FA3 Hopper FP8 attention 的路线),scale 表要能被 kernel 以低延迟访问,per-channel 的 scale 表最好随 KV block 一起布局,避免额外的全局内存往返。
六、验收清单与常见翻车
上线前的验收清单四项。其一,困惑度和下游任务双重达标(预算第四节定的闸门)。其二,长上下文专项测试:32K 上下文的「大海捞针」(needle-in-a-haystack,在长文中埋入特定事实再提问)任务准确率不掉——这是 K 侧「看漏」问题最敏感的探针。其三,显存收益核对:FP8 KV 相对 FP16 应省接近 50% 的 KV 显存(scale 表开销通常 1%~3%),省不到说明粒度或实现有问题。其四,延迟回归:dequant 开销应被 attention kernel 吸收,TTFT/ITL 退化超过 3% 就要查 kernel 融合是否到位。
常见翻车有三个。一是拿静态校准 scale 直接上线,两周后数据分布漂移,精度缓慢劣化却没人发现——必须有在线更新或定期重校准机制,并把量化版本的困惑度纳入日常回归。二是 K/V 用同一套配置,要么 V 侧精度不够掉点,要么 K 侧过度配置浪费显存。三是只看困惑度不跑长上下文任务,K 侧检索失败型错误在平均指标上几乎不可见,到用户手里才暴露。
还有一个隐蔽问题值得单独点名:多轮对话里的误差叠加。第一轮写入的 KV 被后续每一轮反复读取,早期轮次的量化误差在每轮生成中都参与一次加权求和,对话轮次越多,老 KV 的误差暴露次数越多。单轮评测完全覆盖不到这个效应,验收时建议补一个 8~16 轮的模拟多轮脚本,观察后期轮次的回答质量是否相对 FP16 基线出现可感知退化——如果退化明显,说明老 KV 的预算给少了,对应的修法是扩大近期 FP16 窗口或对驻留超时的 KV 块重量化(用新估计的 scale 重新压一遍),后者实现重但效果直接。
这一篇在知识体系里的位置
本篇是 KV cache 量化线的误差分析篇:上游 FP8 E4M3/E5M2 推理(格式基础)、KV cache 量化 INT4(更激进的对比路径)、混合精度 FP16/BF16/FP8(精度体系全景);同层 INT8 KV 与 SmoothQuant、FP8 attention kernel 缩放;下游可接 KV cache 显存管理 看量化省下的显存如何换算成并发容量。
总结
FP8 KV 误差预算的核心是一笔四账:E4M3 存储舍入(固定成本约 3%~4% RMS)、scale 估计误差(唯一随时间恶化、靠在线更新压住)、softmax 对 K 噪声的非线性传递(防关键 token 看漏)、V 噪声随上下文 √N 累积(靠 per-channel 粒度压);实操上 K 配 per-token、V 配 per-channel,近期 token 留 FP16 窗口,敏感层豁免,用 K-only/V-only 二分实验定位预算大头,以困惑度上升 0.5% 加长上下文捞针任务不掉为验收闸门——预算思维的本质是把「精度够不够」的模糊焦虑变成「每一环各占多少、钱花在哪」的可测量工程问题。