FP8 推理:e4m3 与 e5m2 的格式分工、per-tensor scaling 与硬件精度实测
更新时间:2026-09-30。大模型推理的成本一半是显存带宽、一半是矩阵乘吞吐,而 FP8 推理一刀砍向两者:数据宽度从 16 位砍到 8 位,同样的显存能多装一倍权重,Tensor Core 的 FP8 算力又是 FP16 的两倍。但 8 位浮点不是把 FP16 简单截断——指数位和尾数位怎么分,直接决定它能不能用。本篇是 混合精度:FP16、BF16 与 FP8 的深入篇,也是 INT8 量化 PTQ 与 QAT 的浮点对照组,只讲一件事:FP8 的 e4m3、e5m2 两种格式为什么这样分工,以及工程上怎么把精度损失压到可接受。
本文要回答的问题
- e4m3 和 e5m2 的指数/尾数位怎么分,各自的动态范围和精度是多少?
- 为什么前向激活用 e4m3、梯度用 e5m2,推理阶段又该怎么选?
- per-tensor scaling 是什么,scale 因子怎么定?
- Hopper、Ada 等硬件对 FP8 的支持到什么程度,实测精度损失有多大?
一、两种格式:4 位指数还是 5 位指数
FP8 只有 8 个位,1 位给符号后,剩下 7 位在指数(决定动态范围)和尾数(决定精度)之间分配。NVIDIA、Arm、Intel 在 2022 年的联合白皮书里定了两种互不兼容的格式:
| 格式 | 符号/指数/尾数 | 动态范围 | 相对精度 | 特殊值 |
|---|---|---|---|---|
| e4m3 | 1 + 4 + 3 | 约 ±448,最小正规格 2⁻⁶ | 约 2⁻³ = 12.5% | 无 inf,有 NaN |
| e5m2 | 1 + 5 + 2 | 约 ±57344,最小正规格 2⁻¹⁴ | 约 2⁻² = 25% | 有 inf 和 NaN |
e4m3 用 4 位指数换一个更「窄而精」的格式:范围只能覆盖约 ±448,但相邻两个可表示数之间只差 12.5%,接近 BF16 尾数截短后的颗粒度。e5m2 则是「宽而糙」:动态范围对齐 FP16(这就是为什么它沿用 FP16 的 inf/NaN 编码),但尾数只有 2 位,量化台阶高达 25%。
这个 trade-off 直接决定了它们的分工。训练时前向的权重和激活数值集中、范围小,精度敏感,用 e4m3;反向传播的梯度动态范围极大(跨好几个数量级)且对绝对精度不敏感,用 e5m2。纯推理场景没有梯度,绝大多数框架直接把权重和激活都落在 e4m3 上,把精度优先的原则贯彻到底。
二、位分配直方图:一眼看懂两种格式
上图把两种格式的 8 个位拆开来摆:e4m3 多出来的那 1 位尾数让量化台阶减半,但代价是指数少 1 位、可表示的最大值从 57344 缩到 448。这个 448 的顶点是推理部署时的生死线——激活值一旦超过它就直接饱和(e4m3 没有 inf,溢出即截断),所以下一节的 scaling 不是可选优化,是必做动作。
三、per-tensor scaling:把数值「挪」进可表示区间
FP8 和 INT8 一样需要 scale 因子,思路也一脉相承(见 INT8 量化 PTQ 与 QAT 里的校准讨论):给每个张量配一个浮点缩放系数 s,存储和计算时算 x_fp8 = x / s 的 e4m3 值,累加在 FP16/FP32 高精度累加器里完成,输出时再乘回 s。工程上叫 per-tensor scaling,目前主流实现(Transformer Engine、TensorRT-LLM)都是这个粒度——per-channel 在 FP8 上收益有限且会打断 Tensor Core 的规整数据流。
scale 怎么定,有两种流派:
| 策略 | 做法 | 优点 | 缺点 |
|---|---|---|---|
| 静态校准 | 离线跑一批校准数据,取激活的 amax 历史定 s = 448/amax | 推理时零开销 | 分布漂移时溢出或浪费精度 |
| 动态缩放 | 每个 kernel 现场算 amax 再量化 | 永远贴合当前分布 | 多一次 reduce,吞吐掉 3~8% |
| delayed scaling(训练用) | 用前若干步的 amax 窗口外推当前 s | 兼容训练的流式计算 | 需要额外历史缓冲 |
推理部署里静态校准是主流:amax 的统计相当稳定,一次校准通常 128~512 条样本就够。真正容易踩的坑在逐层敏感度不均——注意力里的 softmax 输出、某些残差分支的激活分布和线性层差很多,全网络一刀切的 scale 会让个别层贡献大部分误差。实践做法是对这些层保留 FP16(混合精度回退),通常只需回退 5% 以内的层数。
另一个常被低估的细节是 amax 的统计方式:直接取绝对值最大值会被个别离群点绑架,把 scale 压得过大、正常数值全挤在低精度区;取 99.9 百分位则要在「截断离群值引入的误差」和「压缩动态范围引入的误差」之间权衡。经验上 e4m3 的 448 上限给了比较宽的缓冲,直接取最大值通常就够;但如果校准集和线上流量分布差异大(比如线上出现远超校准时长的长上下文),激活的 amax 会整体上移,静态 scale 就会系统性偏小,表现为长文本场景精度突然劣化——这类回归只在长序列评测集上才暴露,值得在上线检查单里单列。
四、硬件支持与精度实测
FP8 不是纯软件把戏,算力翻倍要靠硅片支持。NVIDIA Hopper(H100/H200)的第四代 Tensor Core 原生支持 e4m3/e5m2 双格式矩阵乘,FP8 峰值算力是同卡 FP16 的 2 倍(H100 SXM 上 3958 vs 1979 TFLOPS);Ada(RTX 4090/L40)同样带 FP8 单元,但消费卡阉割了部分累加路径。AMD MI300 系列也支持 FP8,格式细节略有出入;更早的 A100/Ampere 数据中心卡没有 FP8 单元,只能软件模拟,跑 FP8 反而更慢——部署前一定先确认硬件代际,这一条在 TensorRT 推理优化 的部署清单里也是第一项。
精度方面的公开实测(NVIDIA Transformer Engine 与各家复现)大致收敛到这样的结论:
| 模型规模 | 任务 | FP8 vs BF16 精度差 | 备注 |
|---|---|---|---|
| 7B~13B LLM | 困惑度 | 0.5% 以内 | 全 e4m3 + per-tensor 静态校准 |
| 70B LLM | 困惑度 | 1% 以内 | 越大越稳,离群值被更多通道摊薄 |
| ViT 类视觉 | top-1 | 0.3% 以内 | 注意力层回退 FP16 后几乎无损 |
| 小模型(<1B) | 各类 | 1~3% | 通道少、分布尖,建议 QAT 微调 |
规律很清楚:模型越大,FP8 越好用。原因是逐通道的离群激活(outlier)在大模型里被更多通道平均掉,per-tensor 的粗粒度 scale 损失随之减小。反过来,小模型直接 PTQ 上 FP8 往往掉点明显,需要量化感知训练把权重「训练」到对量化台阶不敏感的区域。
还要提醒一点:FP8 的收益大头在矩阵乘(GEMM),而推理延迟里还有一块是注意力、归一化、逐元素操作的显存带宽开销,这部分 FP8 只能省一半读写量、省不出算力翻倍。所以端到端加速比通常是 1.4~1.8 倍而不是纸面的 2 倍,评测时按 kernel 级 profile 拆账,别让「FP8 没达到 2 倍」成为误判结论的来源。
五、落地检查清单
FP8 推理部署按这几条过:确认硬件有原生 FP8 Tensor Core(H100/H200/MI300 起);权重与激活统一 e4m3,不要幻想推理也用 e5m2;静态校准用 128 条以上代表性数据定 amax;对 softmax 输出、 LayerNorm 前激活做逐层敏感度分析,超阈值层回退 FP16;累加器全程 FP32,输出 cast 回 FP16 再进下一层(防止误差跨层累积);上线前用目标任务的评测集(不只是困惑度)做 A/B,吞吐翻倍若换来 2% 以上的业务指标下跌就不划算。
这一篇在知识体系里的位置
- 上游:混合精度:FP16、BF16 与 FP8 给出三种浮点格式的全景对比,本篇是其中 FP8 一列的展开。
- 横向:INT8 量化 PTQ 与 QAT 的校准与量化感知训练方法在 FP8 上几乎平移,差异只在 FP8 有指数位、不需要零点(zero-point)。
- 下游:TensorRT 推理优化 讲 FP8 引擎的实际构建与部署,是本篇格式原理的工程出口。
总结
FP8 推理的本质是用 8 位浮点换一倍显存容量和一倍 Tensor Core 吞吐:e4m3(4 指数 3 尾数,范围 ±448、步长 12.5%)精度优先,承担推理的权重与激活;e5m2(5 指数 2 尾数,范围对齐 FP16)范围优先,是训练反向梯度的归宿;配 per-tensor 静态 scaling 把数值挪进 ±448 的窄区间、敏感层回退 FP16,在 H100 级硬件上 7B 以上模型精度损失可压到 1% 以内——越大越好量化,这是它相对 INT8 最友好的地方。