FP4 推理格式:NVFP4 与 MXFP4 的数值结构、缩放策略与 Blackwell 硬件支持
更新时间:2026-10-05。前面 FP8 E4M3 与 E5M2 推理 讲过 Hopper 时代怎么用 8 bit 浮点把推理吞吐翻倍,那篇的收尾留了一个口子:FP8 已经是「精度不太疼、收益翻倍」的甜点,继续往下压到 4 bit 还有没有活路?Blackwell(B200/GB200)给出的答案是 FP4——第五代 tensor core 原生吃 4 bit 浮点,稠密 FP4 算力标称是 FP8 的两倍。但 4 bit 浮点一共只有 16 个可表示值,直接套 FP8 那套「张量一个 scale」的老办法,精度当场崩给你看。本篇讲清楚:FP4 推理格式的数值结构长什么样,NVFP4 和 MXFP4 这两条路线怎么用两级缩放把 16 个格子榨出可用动态范围,Blackwell 硬件给了什么原生支持,以及实务上「什么时候值得从 FP8 降到 FP4、怎么降才不翻车」。
本文要回答的问题
- 4 bit 浮点 E2M1 一共 16 个值,覆盖哪些数,裸用为什么必死?
- MXFP4 的「块级共享指数」和 NVFP4 的「微块 scale 加全局 scale」各自怎么缩放,差在哪?
- 两级缩放为什么能把精度救回来,数学上在干什么?
- Blackwell tensor core 对 FP4 给了哪些原生支持,吞吐账怎么算?
- FP4 相对 FP8 的精度-吞吐权衡如何,落地时权重量化、激活量化分别怎么走?
一、E2M1:16 个格子的世界,裸用必死
FP4 推理格式的位结构极简:1 bit 符号、2 bit 指数、1 bit 尾数,即 E2M1。指数 bias 为 1,正规格化数(normalized)能表示的正值只有 0.5、1、2、4 这四个量级各带尾数 1.0 或 1.5 两档,加上次正规数 0.5 档往下延伸的 0.25,全部可表示的正值是:0.25、0.5、0.75、1、1.5、2、3、4、6(含次正规和尾数细分),取负再翻一份,加正负零,总共 16 个值。没有 inf,没有 NaN(部分编码约定把最大码点留作他用,但主流推理实现按全数值用满)。
16 个值意味着两件事。第一,量化分辨率粗到可怕:在 1 到 2 之间只有 1、1.5、2 三个格子,相对量化误差最大能到 25%。第二,动态范围窄到可怜:最大值 6,任何绝对值超过 6 的数直接饱和。对比一下,FP8 的 E4M3 最大值 448,E5M2 到 57344,FP16 更是 65504。大模型激活里动辄出现绝对值几十上百的 outlier(离群值,少数远超常规幅度的激活元素),直接塞进 E2M1,这些 outlier 全部被钳到 6,而它们恰恰是对输出贡献最大的那批数——这就是裸 FP4 必死的根本原因:不是格子少,是格子少还罩不住数据的幅度分布。
所以 FP4 推理格式这件事的本质,从来不是「怎么设计一个 4 bit 浮点」——E2M1 一分钟就定完了——而是怎么用缩放(scaling)把真实数据搬进出 [-6, 6] 这个窄窗,并且让窗内宝贵的 16 个格子尽量落在数据密集的区域。NVFP4 和 MXFP4 的全部差别,就在缩放策略上。
二、MXFP4 与 NVFP4:两种缩放路线的正面分野
业界落地 FP4 的路线有两条,都建立在「分块缩放」这个共同思想上——不再给整个张量一个 scale,而是把张量沿 reduction 维切成小块,每块各自定标。分歧在于块的粒度和 scale 本身的数值格式。
MXFP4(Microscaling FP4,OCP 开放计算项目标准化的微缩放格式):每 32 个连续元素为一个块,块内共享一个 8 bit 的 E8M0 缩放因子——注意 E8M0 是「纯指数、无尾数」格式,即 scale 只能是 2 的幂。量化时把块内每个数除以这个 2 的幂,再四舍五入到最近的 E2M1 格子。因为缩放是 2 的幂,乘除在位操作里只是指数加减,硬件开销极小,这是 MX 系列格式的核心卖点:缩放完全融进指数通路,不需要真正的乘法器。代价是 scale 粒度粗——2 的幂步进是倍率的,块内最大值 5.1 和 6.0 可能被迫用同一个 scale,剩下的量化精度全靠 16 个格子硬扛。
NVFP4(NVIDIA 在 Blackwell 上主推的私有配方):块更小,每 16 个元素一个微块,scale 用 FP8 E4M3 存储(带尾数,步进细得多),而且在这层微块 scale 之上,整个张量还有一个 FP32 的全局 scale 做二次定标。反量化时先乘微块的 E4M3 scale、再乘张量级 FP32 scale。两级缩放的好处:微块 scale 只需覆盖「块内相对形状」,绝对幅度交给全局 scale 兜底,E4M3 有限的动态范围(最大 448)不再是约束。
把两条路线的关键参数收成一张账:
| 维度 | MXFP4 | NVFP4 |
|---|---|---|
| 块大小 | 32 元素 | 16 元素 |
| 块级 scale 格式 | E8M0(仅 2 的幂) | FP8 E4M3(带尾数) |
| 全局 scale | 无 | FP32 张量级一个 |
| 缩放运算 | 指数加减,零乘法 | 块级一次真乘,全局融进反量化 |
| 每元素 scale 开销 | 8/32 = 0.25 bit | 8/16 = 0.5 bit |
| 有效位宽 | 4.25 bit/元素 | 4.5 bit/元素 |
| 抗 outlier 能力 | 块内 outlier 抬高整块 scale | 块小一半,污染半径减半 |
| 标准化 | OCP 开放标准 | NVIDIA 私有,Blackwell 原生 |
注意表里「有效位宽」这一行:FP4 不是真的 4 bit 存一个数,块级 scale 摊下来每元素还要额外背 0.25 到 0.5 bit。即便这样,对比 FP8(每元素 8 bit 加可选的张量级 scale 几乎可忽略)存储仍省接近一半,对比 FP16 更是四分之一——这就是 FP4 在显存带宽敏感的 decode 阶段的根本价值。
三、两级缩放在数学上干什么:把「找格子」变成「先对齐窗再落格」
抽象一点看,任何量化都是两步:定窗(选 scale)和落格(舍入到可表示值)。FP16 直接量化到 FP8 时,窗是全张量一个,窗内 256 个格子,还凑合;到 FP4 只剩 16 个格子,单窗策略的误差就被块内幅度差异放大到不可接受。两级缩放的数学本质是把窗的选择分层:第一层(微块 scale)对齐局部幅度,让块内最大值恰好落在 E2M1 窗顶附近;第二层(全局 scale)对齐张量间的系统差异,让权重、激活、梯度各自的整体量级归一。
块大小为什么是 16 而不是更大?这里有一条清楚的经验曲线:块越大,块内幅度方差越大,E2M1 那 9 个正值格子被迫同时伺候「大块里的小值」和「大块里的大值」,小值被量化噪声淹没;块越小,scale 开销越大,精度收益递减。NVIDIA 的公开实验(NVFP4 技术报告)显示,16 元素块加 E4M3 scale 在 LLM 权重与激活上的信噪比,明显优于 32 元素块加 E8M0 的 MXFP4,尤其在激活这种 outlier 密集的张量上差距拉大——块小一半,意味着一个 outlier 最多污染 15 个邻居而不是 31 个。
上图这条链路里最容易被忽略的一点是:量化误差和 scale 误差是叠加的。E4M3 存 scale 本身也有舍入(6.3 存成 6.0 或 6.5),这层误差乘回每个元素,等价于给整块数据加了一个共同的增益偏差。NVFP4 用 FP32 全局 scale 的一个副作用恰好缓解了这个问题:微块 scale 可以只管「形状」,系统性的增益偏差由高精度的全局 scale 统一修正。这也是为什么两级缩放比「单层更细 scale」的同成本方案精度更好。
四、Blackwell 硬件支持:tensor core 直接吃 4 bit,缩放因子随数据走
格式设计得再巧,没有硬件原生路径都是空谈——软件模拟 FP4 的反量化开销会把省下的带宽全吃回去。Blackwell(B200、GB200 里的 die)在这件事上给的是全套支持。
第一是算力口径。第五代 tensor core 原生支持 FP4 输入的矩阵乘,稠密 FP4 峰值算力标称约 9 PFLOPS(B200、带稀疏的口径再翻倍),正好是 FP8 的两倍、FP16 的四倍。GEMM 里 A、B 两个操作数都可以是 FP4,累加器保持 FP32。指令层面走 tcgen05 系列(Blackwell 的新一代 tensor core 指令,继承 Hopper 的 TMA 加 wgmma 异步范式 的骨架,操作数通路换成 tensor memory),FP4 数据和它的微块 scale 一起搬进 SMEM/TMEM,tensor core 取数时硬件顺带完成块级反缩放——缩放不再消耗 CUDA core 的算力,也不占主循环的发射槽。
第二是带宽与显存口径。FP4 权重比 FP8 省一半显存、比 FP16 省四分之三:70B 模型 FP16 要 140GB,FP4 权重只压到 35GB 上下,单颗 B200(192GB HBM3e)从「放不下」变成「还能留一大截给 KV cache」。decode 阶段是典型的 memory-bound(每 token 都要把全部权重过一遍 HBM),权重字节数直接决定 token 吞吐上限,4 bit 相对 8 bit 理论上接近 2 倍的 decode 加速——这和 KV cache INT4 量化 里「省字节就是省时间」的逻辑同源,只是省的对象从 KV cache 换成了权重和激活。
第三是转换通路。Blackwell 提供 FP8/FP16 到 FP4 的硬件转换指令,且支持在 TensorRT-LLM 等栈里做量化 kernel 的融合:量化、scale 计算、写回一次 pass 完成。这意味着 W4A4(权重激活双 FP4)推理里,激活可以在线量化(dynamic quantization,每个 token 前向时现算 scale),不必像 PTQ(训练后量化)那样离线定死。
五、精度-吞吐权衡:FP4 什么时候赢,什么时候别碰
把账摆平。吞吐侧,FP4 相对 FP8 的理论收益是三份的:tensor core 算力 2 倍、权重字节数减半(memory-bound 阶段直接兑现)、KV cache 若同压 FP4 还能再省。精度侧,代价也实实在在。公开的基准结果(NVIDIA NVFP4 技术报告、TensorRT-Model Optimizer 复现)给出的图景是:NVFP4 权重量化在主流 LLM 上精度损失可压到 FP8 基线的 1% 以内,W4A4 双重量化损失明显放大,MXFP4 的精度介于 W4A16-FP8 和 NVFP4-W4A4 之间但普遍略逊于 NVFP4 同配置。更细的规律是:模型越大越抗量化(冗余参数多),小模型(7B 以下)上 FP4 掉点明显更疼;数学推理、代码这类长尾任务对量化噪声比常识问答敏感。
落地口径可以归纳成三条。
第一,权重先降,激活后降。W4A16(FP4 权重加 FP16 激活)几乎是白捡:反量化融合进 GEMM epilogue,精度损失极小,纯赚显存和带宽。这条路线和 W4A16 GPTQ 推理 kernel 讲的 INT4 权重量化同构,差别只在格式从整数换成浮点、scale 从 per-group 整数零点换成浮点两级缩放。激活降 FP4 才是真正的技术活——激活 outlier 的分布随输入漂移,离线校准的 scale 容易失效,必须在线动态量化,且对敏感层(通常第一层、最后几层、attention 输出投影)要回退 FP8。
第二,校准与混合精度是必修课。实务配方是:跑数百条代表性样本做校准,用 per-token 或 per-微块的动态 scale 兜住激活,对量化敏感度超阈值的层保留高精度。这套方法论和 INT8 PTQ 与 QAT 里的分层混合精度一脉相承,只是 FP4 把「敏感层比例」从 INT8 时代的百分之几推高到一到两成。
第三,先确认自己是不是 memory-bound。prefill 和大 batch 推理是 compute-bound,FP4 相对 FP8 的算力翻倍要打折扣(GEMM 之外的 LayerNorm、softmax、采样照旧跑高精度,Amdahl 定律管着);小 batch decode、长上下文、多并发 serving 才是 FP4 的主场。判断口径见 LLM 推理性能基准方法论:先把 TTFT/TPOT 拆到 kernel 级,确认权重搬运占比过五成再动 FP4 的念头。
| 场景 | 建议格式 | 理由 |
|---|---|---|
| 单卡放不下模型的离线推理 | NVFP4 W4A16 | 显存省四分之三,精度几乎无损 |
| 高并发 decode serving | NVFP4 W4A4 | memory-bound,字节数即吞吐 |
| 小 batch prefill 为主 | FP8 维持 | compute-bound,FP4 收益打折 |
| 7B 以下小模型 | FP8 或 W4A16 | 小模型抗量化差,W4A4 掉点疼 |
| 数学与代码任务敏感业务 | 敏感层回退 FP8 的混合 FP4 | 长尾任务对量化噪声敏感 |
| 训练与微调 | 不碰 FP4(除研究探索) | 梯度分布太宽,16 个格子罩不住 |
这一篇在知识体系里的位置
本篇是数值格式系列的深水篇,正上游是 FP8 E4M3 与 E5M2 推理(8 bit 浮点的位结构与缩放入门,FP4 的全部概念是它的极限推演)和 混合精度 FP16 BF16 FP8(精度分层思想的上游);硬件侧同层对照 Hopper TMA wgmma 异步范式(Blackwell tcgen05 继承的流水骨架);量化方法论侧的兄弟篇是 INT8 PTQ 与 QAT、逐 token 缩放、权重组级缩放(分块缩放思想的整数版前身)与 W4A16 GPTQ 推理 kernel(4 bit 权重落地的整数路线对照);应用侧下游是 KV cache INT4 量化 与 LLM 推理性能基准方法论(判断该不该上 FP4 的测量口径)。
阅读顺序建议:先把 FP8 篇的 E4M3/E5M2 位结构和「张量级 scale」想明白,再用本篇的两级缩放替换它,最后对着 NVFP4 技术报告的精度表复盘一遍「块大小、scale 格式、全局 scale」三个旋钮各自的贡献——能向人讲清为什么块从 32 缩到 16 能把 outlier 污染半径减半,就算真正吃透了 FP4 推理格式。
总结
FP4 推理格式用 1 符号位、2 指数位、1 尾数位的 E2M1 结构把权重和激活压到 4 bit,全部可表示值只有 16 个、最大不过 6,裸用必被激活 outlier 打穿,因此真正的功夫在缩放:MXFP4 走 32 元素块加 2 的幂的 E8M0 scale(硬件零乘法),NVFP4 走 16 元素微块加 FP8 E4M3 块级 scale 再叠 FP32 全局 scale 的两级缩放(粒度细一倍、outlier 污染半径减半、精度更接近 FP8 基线);Blackwell 第五代 tensor core 原生吃 FP4、硬件顺带完成块级反缩放,算力标称 FP8 两倍、权重字节数减半,让 W4A4 在 memory-bound 的 decode serving 场景接近翻倍吞吐——但小模型、compute-bound 场景和数学代码类敏感任务上仍要回退 FP8 或只压权重,先测准瓶颈再降精度,是 FP4 落地不变的第一原则。