ORT 图优化:ONNX Runtime 如何用算子融合与常量折叠加速推理
更新时间:2026-10-02。前面 推理引擎运行时调度 从调度视角讲过推理引擎在「跑起来之后」做什么,这篇补它的上半场:模型加载后、第一个请求进来之前,ONNX Runtime(ORT)对计算图做了什么。ORT 是微软开源的跨平台推理引擎,核心思路是把「优化」和「执行」解耦——图先被一套与硬件无关的改写器(graph transformer)静态重写,再按执行提供器(Execution Provider,EP)切分下发。这条链路上最典型的两类优化是常量折叠和算子融合,它们不改变模型数学结果(或只在浮点误差范围内改变),却能带来 20%~60% 的端到端加速。想对照另一条「更激进」的路线,可以看 TensorRT 推理优化。
本文要回答的问题
- 为什么训练框架导出的 ONNX 图天生「难跑」?冗余从哪里来?
- ORT 的三级图优化体系(basic / extended / layout)各自做什么,边界在哪?
- 常量折叠和算子融合的具体规则长什么样,收益从哪来?
- 多 EP 场景下图怎么被切分,切错了为什么反而变慢?
- 工程上怎么验证一次图优化真的生效了?
一、问题源头:导出的 ONNX 图为什么这么「素」
ONNX 的定位是「交换格式」,不是「执行格式」。从 PyTorch 导出的计算图忠实地记录了 Python 层写了什么:一个 LayerNorm 在 nn.Module 里是一次调用,到 ONNX 图里是七八个基础算子(ReduceMean、Sub、Pow、ReduceMean、Add、Sqrt、Div、Mul、Add)的链条;一个带常量权重的卷积,权重、缩放系数、shape 计算全部以节点形式挂在图上。这样的图有两个系统性问题:
- 小算子过多:每个算子一次 kernel launch,每次 launch 在 GPU 上有几微秒的固定开销,算子之间还要把中间张量写回显存再读回来。一个 40 层 Transformer 按原始图展开有上万个节点,光是 launch 和显存往返的开销就能超过真实计算。
- 编译期可算的东西留在运行期:reshape 的目标 shape、权重的转置、常量子图的逐元素运算——这些输入在模型加载时就全部已知,却要在每次推理时重新算一遍。
ORT 图优化解决的就是这两件事:能在加载期算掉的绝不留到运行期(常量折叠),能并成一个 kernel 的绝不拆成两个(算子融合)。理解这个定位很重要——它不做数值重参数化(那是量化工具的事,见 INT8 PTQ 与 QAT 量化),也不重排调度(那是 EP 内部和运行时的事),它只做保语义的结构改写。
上图是整条链路的定位:导出器负责「忠实」,ORT 图优化负责「把忠实但低效的图改写成等价但高效的图」,然后才轮到 EP 把图切块交给具体硬件库执行。
二、三级优化体系:basic、extended、layout
ORT 把图改写器按「是否与硬件相关」和「是否会改变数值布局」分成三级,通过 GraphOptimizationLevel 控制启用范围(默认 ORT_ENABLE_ALL,全启用)。
第一级 basic(基础级,保证正确性):纯硬件无关的死代码消除与代数简化。典型规则:
- 常量折叠(constant folding):输入全部是常量的子图在加载期直接算成 Constant 节点;
- 消除冗余节点:无消费者的节点、恒等 Identity、多余的 Reshape/Transpose 对(A→B→A 直接删掉);
- 语义保持的重写:如把
Add(x, 0)、Mul(x, 1)换成 x 本身。
这一级永远安全,任何模型、任何 EP 都能用。
第二级 extended(扩展级,融合主体):仍然硬件无关,但改写更大胆——把匹配到的算子模式替换成 ORT 内置的融合算子(fused op)。这是收益最大的一级,下一节细讲。
第三级 layout(布局级,硬件敏感):改变张量的内存布局,最典型的是把 NCHW(N 批量、C 通道、H 高、W 宽的排列)转成 NHWC 喂给更擅长后者的后端(如 ARM 上的某些库),或在 CUDA EP 下做相反方向的整理。因为涉及布局转换,插入的 Transpose 节点如果遇不上能消化它的后端反而添乱,所以这一级只有在明确知道目标 EP 受益时才值得开。
三级是流水线关系:basic 先把图扫干净,extended 在干净的图上做模式匹配(融合成功率因此更高——中间没有冗余节点挡路),layout 最后调整布局。这个顺序也解释了为什么「先折叠后融合」是铁律:常量不折叠掉,很多融合模式的前置条件(比如某个输入必须是 Constant)根本不满足。
三、常量折叠:把运行期的账提前结清
常量折叠的规则一句话:一个节点的所有输入都是 Constant,且该算子无副作用,就在加载期用 CPU 把它算出来,结果存成新的 Constant,原子图删除。
收益有三层。第一层是省计算:权重转置、BN 折叠前的系数预乘、shape 推导链这些每个推理请求都要重算的东西,变成一次性开销。第二层是省内存带宽:常量算子往往是逐元素小算子,融合不掉的它们每跑一次就要把整张量读写一遍;折叠成常数后这些张量直接消失。第三层是为后续优化开路——这是最容易被低估的收益:动态 shape 里的很多「动态」其实来自 shape 计算子图,一旦 shape 子图被折叠成常量,下游 Reshape 的 shape 输入变成已知,ORT 就能为整个张量确定静态形状,进而启用更多融合与更优的内存规划。
一个具体例子:BERT 类模型里 position_ids 的生成经常是 Range → Unsqueeze → Expand 三个算子,输入全是常量,折叠后就是一个 Constant 张量;又如 SomeConv → Transpose(weights),转置节点在加载期消失,权重以转置后的形态常驻。
还有一类折叠不太起眼但累积可观:形状推断(shape inference)与折叠是互相成就的。ORT 在改写过程中会反复跑 shape inference,每折叠掉一批节点,就有更多张量的形状变成静态已知,静态形状又让内存规划器能做原地复用(in-place reuse)——中间激活的显存占用因此常常随图优化同步下降两到三成,这部分收益不会体现在节点数上,但会直接反映在高并发场景的显存水位上。
工程上要注意两个边界。其一,折叠出的常量可能很大——如果一个 Expand 把小常量广播成几百 MB 的大张量,折叠反而让模型文件/内存膨胀,ORT 对此有保护:折叠结果超过阈值就不折。其二,调试时可以关掉折叠做对照:环境变量或 SessionOptions 里设 ORT_DISABLE_ALL 再逐级开,是定位「优化后结果变了」类问题的标准二分手段。
四、算子融合:小算子链并成大 kernel
算子融合是 extended 级的主业,也是 ORT 图优化里收益最直观的部分。融合的本质是用一次 kernel launch、一份中间数据(留在寄存器或 shared memory 里)完成原来 N 次 launch、N 次显存往返的工作。
ORT 内置的融合规则有几十条,按出现频率最值得知道的:
| 融合模式 | 融合前 | 融合后 | 主要收益 |
|---|---|---|---|
| Conv + Add + Relu | 3 节点 | FusedConv | 省 2 次显存往返 |
| MatMul + Add | 2 节点 | Gemm | 走 cuBLAS 快路径 |
| MatMul + Add + Gelu | 3 节点 | GemmFastGelu 类 | Transformer FFN 提速 |
| LayerNorm 子图 | 7~9 节点 | LayerNormalization | 省七八次 launch 与中间张量 |
| Attention 子图 | QKV 投影到输出的十几节点 | Attention | 可接 FlashAttention 路径 |
| SkipLayerNorm | Add + LayerNorm | SkipLayerNormalization | 残差与归一化合一 |
| BiasGelu | Add + Gelu | BiasGelu | 省中间张量 |
以 Attention 融合为例看模式匹配的苛刻性:ORT 的 Attention 融合器要求子图严格符合「Q/K/V 三个 MatMul + 各自的 Bias → reshape/transpose 成多头 → QK^T MatMul → softmax(可带 scale 与 mask)→ 与 V 的 MatMul → transpose 回来」的完整形状,任何一环对不上(比如 softmax 前后多插了一个自定义节点)就融合失败,整条链退回逐算子执行——这就是为什么同一份模型,换一种导出方式或 torch 版本,ORT 上的性能可能差出 30%:融合是模式匹配,不是语义理解。
融合还有个层级递进:先小融合(BiasGelu、FastGelu),小融合把图变规整后,大融合(Attention)才更容易匹配上。ORT 的 transformer 会反复迭代应用规则直到图不再变化(fixpoint),所以一次加载期的优化实际是多轮改写。
收益量化:在 BERT-base 这类模型上,开全融合的 ORT 相对纯逐算子执行,CPU 上常见 1.3~1.8 倍加速,CUDA EP 上配合 Attention 融合与 FP16 常见 2 倍以上;节点数从上万降到几千,kernel launch 开销与显存流量同步下降。FlashAttention 那条 kernel 内部的 tiling 细节可以对照 FlashAttention 显存分块。
五、执行提供器与图切分:融合之后谁执行哪块
图优化完成后,ORT 面对最后一个决策:每个节点交给哪个 EP 执行。EP 是 ORT 对后端的抽象——CUDA、TensorRT、OpenVINO、CoreML、NNAPI、QNN 各是一个 EP,CPU EP 是兜底的默认后端。
流程是按优先级逐个 EP 询问「这张图里你能执行哪些节点」,EP 返回它支持的子图集合,ORT 把被认领的节点打包成该 EP 的子图,剩余的留给下一个 EP,最后没人认领的归 CPU。于是最终执行图可能长这样:前 80% 节点是一个 CUDA 子图,中间一个自定义算子掉回 CPU,后面又接 CUDA 子图。
这里藏着 ORT 最常见的性能陷阱:EP 切换的隐式拷贝。每次从一个 EP 的子图跳到另一个 EP 的子图,中间张量要从显存拷回内存(或反之)。一次 PCIe 往返几十微秒到毫秒级,如果图被切得很碎(CUDA→CPU→CUDA→CPU 反复横跳),省下的算力全赔在拷贝上。工程上的对策:
- 看日志:
ENABLE_ALL级别下 ORT 会打印每个节点落到哪个 EP,掉 CPU 的节点一目了然; - 优先补算子而不是接受切分:某个算子在 CUDA EP 未注册导致掉 CPU,注册一个 CUDA 实现或换成等价的支持算子,往往比忍受拷贝划算;
- 干脆把整图外包:
TensorrtExecutionProvider模式下 ORT 可以把尽可能多的子图整体交给 TensorRT 编译(其内部的层融合更激进,见 TensorRT 推理优化),ORT 退居调度与 IO 角色。
上图就是一个典型的「切坏了」的形态:单个节点掉 CPU 造成两次拷贝。判断标准是简单的算术——如果 X 在 CPU 上省的时间小于两次拷贝的开销,就该想办法把它留在 GPU 上。
六、验证与调优:怎么确认优化真的生效
图优化是静默发生的,不验证就等于没做。一套最小验证流程:
- 导出优化后的图:SessionOptions 里设
optimized_model_filepath,ORT 会把改写后的图存盘,用 Netron 打开数节点——LayerNormalization、Attention 这类融合算子出现没有,Constant 节点是不是变多了。 - 看 EP 分配日志:确认没有意外掉 CPU 的节点,没有 D2H/H2D 的乒乓。
- 基准对照:同一输入下比较
ORT_DISABLE_ALL/ basic / all 三档的延迟,拆分出图优化本身的贡献(EP 内部的 kernel 选择、batch 行为都不变)。 - 数值对拍:优化前后输出做逐元素比较,容差内设阈值(FP32 下通常应逐位一致或 1e-6 级;FP16 配合 layout 改动可放宽)。
再补三条经验。其一,动态 shape 是融合天敌:导出时尽量固定 batch 与序列维度(或用 ORT 的 symbolic dim 配合特定融合),动态维越多,可静态推断的形状越少,融合率越低。其二,FP16 转换本身也是一种图优化:ORT 的 float16 转换器会在图上自动插 Cast 节点并把权重转半精度,与融合器协同;量化路线则是另一套工具链(见 量化 INT8/INT4 与校准),不要把两者混在一轮里开,先 FP16 验证再谈 INT8。其三,kernel 层面的天花板:图优化把图收拾干净后,剩下的性能取决于单个 kernel 质量与 occupancy,这时要下沉到 profiler 层面分析,方法同 Nsight 性能分析 里讲的流程一致。
| 调优档位 | 手段 | 典型收益 | 风险点 |
|---|---|---|---|
| ORT_DISABLE_ALL | 纯逐算子 | 基线 | 慢,仅用于对照 |
| basic | 折叠 + 清理 | 5%~15% | 基本无 |
| + extended | 算子融合 | 累计 20%~60% | 模式不匹配则静默不融合 |
| + FP16 转换 | 半精度图改写 | 再 1.5~2 倍(GPU) | 数值精度需对拍 |
| + TensorRT EP | 整子图外包编译 | 模型相关,常再加速 | 首次构建耗时、算子覆盖 |
这一篇在知识体系里的位置
本篇是「推理引擎」线索里「模型加载期」的一环:同层上游是 推理引擎运行时调度(运行期的 batch 与调度视角)与 TensorRT 推理优化(更激进的编译式路线,ORT 可通过 TRT EP 与之合流);数值压缩侧对照 量化 INT8/INT4 与校准 与 INT8 PTQ 与 QAT 量化;kernel 内部原理对照 FlashAttention 显存分块;下游延伸是 ONNX 生态的部署形态(移动端的 ORT Mobile/NNAPI、浏览器的 ORT Web)与 llama.cpp GGUF 格式 这类非 ONNX 路线的对照。
总结
ORT 图优化在模型加载期对 ONNX 计算图做保语义的静态改写——basic 级用常量折叠把能算的账提前结清、清掉冗余节点,extended 级用模式匹配把 LayerNorm、Attention 这类小算子链融合成大 kernel,layout 级按后端整理张量布局,再按执行提供器切分下发;整条链路的关键认知是「融合靠严格模式匹配、EP 切换有拷贝成本」,所以工程上要导出优化后的图数节点、看 EP 日志、按档位做延迟与数值对拍,确认优化真的落了地。