TensorRT 推理优化:图优化、精度校准与 kernel 自动调优全链路
更新时间:2026-09-29。本篇是 AI 部署侧的工程篇:低精度数字格式本身的账在 混合精度 FP16/BF16/FP8,量化 scale 与校准算法(min-max/percentile/KL)的数学在 INT8/INT4 量化与校准,这两篇是 TensorRT 精度开关背后的原理;GPU 侧为什么吃带宽、Tensor Core 怎么喂饱,见 GPU 存储层次与带宽。
TensorRT 是 NVIDIA 的推理优化器与运行时:输入一个训练好的模型(通常经 ONNX 进来),输出一个针对特定 GPU 型号、特定精度、特定输入形状高度特化的推理引擎(engine)。它不做训练,也不改变模型的数学定义,只改变「怎么算」——同一网络在 A100 上和在 Orin 上构建出来的 engine 是不同的二进制,互不通用。理解 TensorRT 的关键就是理解构建期的这条流水线:图进来先被化简融合,然后按精度标志决定每一层落在 FP32/FP16/INT8 哪一档,最后对每一层在候选 kernel 库里实测计时、挑最快的那个写进 engine。
本文要回答的问题
- 从 ONNX 到 .engine 文件,builder 内部依次做了哪几件事?为什么构建要几十秒到几分钟?
- 层融合(layer fusion)具体融掉什么?为什么融合对推理比对训练收益大得多?
- FP16 与 INT8 在 TensorRT 里怎么开?INT8 的 calibrator 接口要喂什么?
- kernel 自动调优(tactic selection)在挑什么?timing cache 为什么能省下重复构建时间?
- 动态 shape 的模型为什么要配 optimization profile?profile 数量与构建时间什么关系?
- engine 部署时有哪些硬约束(硬件绑定、版本绑定)?序列化/反序列化的成本与风险在哪?
一、构建流水线总览:builder 里发生了什么
先建立一个整体视角。TensorRT 的构建分五步:解析、图优化、精度指派、kernel 调优、序列化。其中「图优化」和「kernel 调优」是耗时大头,也是性能来源。
这张图也是排障地图:ONNX 解析失败是第 1 步的事(opset 不支持、自定义算子缺 plugin);构建慢是第 4 步的事(tactic 搜索空间大、profile 太多);engine 加载后精度不对是第 3 步的事(INT8 校准集不对、某层该回退 FP16 没回退)。工程上绝大多数「TensorRT 问题」都能定位到这五步之一。
一个容易忽视的点:构建是离线动作,推理是在线动作。engine 一旦构建完成,推理路径上不再有图遍历、不再有格式协商、不再有 kernel 选择——全部决策已经在构建期做完并固化。这就是为什么 TensorRT 愿意在构建期花几分钟做详尽搜索:一次构建的成本被之后成千上万次推理摊薄。反过来这也解释了它的不灵活:输入 shape 变了、GPU 换了,都可能要重新构建。
二、图优化:融合是免费的午餐
推理图与训练图的最大差别是:训练要为反向传播保留中间激活,推理只往前算,中间结果用完即弃。于是大量「三个小算子连着走」的模式可以被合并成一个 kernel,省掉中间张量写回显存再读回来的往返。GPU 上小算子的瓶颈往往不是计算而是显存带宽(原因见 GPU 存储层次与带宽),少一次 HBM 往返就是实打实的加速。
具体有几类重写,按收益从大到小排:
**常量折叠(constant folding)**排在最前。BatchNorm 在推理时参数固定,本质是逐通道的 scale+shift,可以整体乘进前面卷积的权重和偏置里——BN 层直接从图上消失,这是「折叠」最经典的例子。权重预处理(比如 INT8 权重的打包排布)也在这一步完成。
**垂直融合(vertical fusion)**把前后相连的层合成一个 kernel:Conv+Bias+ReLU 融成 CBR,MatMul+Add+GELU 融成一个 GEMM epilogue,attention 里的 QKV 投影+softmax+输出投影融成 fused multi-head attention(FlashAttention 风格的实现就是以 plugin/融合 kernel 形式进入 TensorRT 的)。融合的边界由 kernel 库里有没有对应实现决定——不是任意两个层都能融。
**水平融合(horizontal fusion)**把同层的多个并行分支合并:attention 里 Q、K、V 三个同形状矩阵乘共享输入,合并成一次大 GEMM,权重横向拼接,一次启动算完三份。
无用消除:reshape/transpose 这类只改元数据的节点若能被吸收进相邻算子的 stride 参数,就直接删掉;恒等分支、死输出也会被剪。
这些重写对推理的意义远大于训练:训练图的中间激活要留给反向,融合空间小;推理图则是纯前向数据流,TensorRT 的日志里常见层数从几百层压到几十层的案例。判断融合是否生效的方法很直接:构建时把 verbose 日志开到 kVERBOSE,搜 Fusing 字样,构建后用 trtexec --dumpLayerInfo 或 engine inspector 对比融合前后层数。
三、精度指派:FP16 一键开,INT8 要校准
图定下来之后,builder 给每一层指派计算精度。这是性能提升最猛的一个开关,规则却很简单。
FP16:BuilderFlag::kFP16 一开,所有支持半精度的层直接落到 FP16,权重在构建期完成转换。Tensor Core 的 FP16 吞吐是 FP32 CUDA Core 的 8 倍左右(具体倍数随代际变化),且激活显存占用减半、带宽需求减半。绝大多数 CNN 和 Transformer 转 FP16 的精度损失在 0.1 个百分点以内,属于「不开白不开」。需要留意的只有个别数值敏感层(softmax 前的 logits、LayerNorm 的归约),TensorRT 会自动在层边界插入 FP16↔FP32 的 reformat 节点保住这些点,代价极小。
INT8:BuilderFlag::kINT8 打开后,权重的 scale 离线扫 min/max 就能定,激活的 scale 必须喂数据校准——这就是 calibrator 接口存在的意义。原理(min-max/percentile/KL 散度三种截断策略)在 INT8/INT4 量化与校准 里已经讲过,这里只讲 TensorRT 的落地姿势:
工程上有三个真实门槛。一是校准集代表性:拿 ImageNet 校准、部署场景是医疗影像,scale 必然失配,精度掉起来没有下限。二是敏感层回退:朴素全 INT8 常常在首尾层、检测头、softmax 前掉点明显,做法是把网络定义里这些层显式 setPrecision(DataType::kHALF),白名单回退。三是显式量化 vs 隐式量化两条路:隐式(calibrator 定 scale,TensorRT 自己插量化节点)是老路径;现在主流是显式——训练侧用 QAT 或 PyTorch 量化导出带 QuantizeLinear/DequantizeLinear(QDQ)节点的 ONNX,scale 已经写在图里,TensorRT 只负责消化,精度可控性好得多。QAT 训练几百步配合 QDQ 导出,是把 INT8 精度损失压到 0.3 个百分点以内的标准配方。
一个常被问到的问题:为什么不全用 INT8?答案是 INT8 的收益主要在计算受限的大 GEMM/卷积上(Tensor Core INT8 吞吐是 FP16 的 2 倍),而小算子、带宽受限的部分根本吃不到红利,反而要付量化/反量化的转换开销。所以收益矩阵大致是:大模型大 batch,FP16→INT8 还能再提速 1.5~1.8 倍;小模型小 batch,FP16 往往已经到头,INT8 的提升被 reformat 开销吃掉。
四、kernel 自动调优:为每一个 shape 实测选将
同一层(比如一个 3×3 卷积)在 GPU 上有十几种实现候选:直接卷积、Winograd、implicit GEMM、FFT,每种还有不同的 tile 切分、共享内存用量、Tensor Core 路径。哪最快?没有解析解——答案随 GPU 型号、batch、输入形状、显存对齐方式变化。TensorRT 的做法简单粗暴有效:把每个候选 tactic 真刀真枪在目标 GPU 上跑几遍,计时选最快。这就是构建期最耗时的部分,也是 engine 不可跨硬件迁移的根本原因——tactic 选择是为这块卡量身定做的。
两个工程旋钮直接管这一步的时间成本。timing cache:调优结果可以序列化(ITimingCache),同模型同硬件的重复构建直接读缓存,几分钟的构建压到十几秒,CI 里重建 engine 必配。tactic 源裁剪:BuilderFlag 和 ITacticSource 可以关掉某些 kernel 来源(如关掉 cuDNN 启发式之外的源),缩小搜索空间换构建速度,代价是可能错过最优解。
动态 shape 模型还有一重放大:tactic 是按 shape 选的,而动态模型 shape 是个范围,这就要引入 optimization profile。每个 profile 声明一组维度(min/opt/max),builder 以 opt 形状为代表做调优。profile 配几个是门学问:
| profile 策略 | 构建时间 | 典型场景性能 | 适用 |
|---|---|---|---|
| 单 profile(min=opt=max) | 1× | 固定 shape 最优 | 线下服务、shape 固定 |
| 单 profile(min≠opt≠max) | ~1× | opt 附近好,两端一般 | shape 在小范围波动 |
| 多 profile 各管一段 | N× | 每段都接近最优 | batch 1/8/32 分档明显 |
| 静态 shape 多个 engine | N×(独立构建) | 每档最优 | 极端性能敏感,容忍多 engine |
经验法则:profile 按「真实流量里 shape 的档位」切,不要为了保险把 min 拉到 1、max 拉到无限——调优按 opt 走,离 opt 越远性能越平庸,而且某些 tactic 对 shape 范围有约束(比如要求对齐到 8),范围太宽会直接把快实现排除出候选集。batch 维用 profile 表达是免费的(GEMM 对 batch 不敏感),空间维(检测模型的输入分辨率)变化则建议分 profile。
五、序列化与部署:engine 是一份带绑定关系的二进制
构建产物经 serialize() 得到一段内存 blob,写盘就是 .engine 文件(旧称 .plan)。部署侧反序列化得到 ICudaEngine,创建 IExecutionContext,配好输入输出 buffer 的地址,就能 enqueueV3() 跑了。一次推理的真实代码骨架非常薄:
auto runtime = nvinfer1::createInferRuntime(logger);
auto engine = runtime->deserializeCudaEngine(blob.data(), blob.size());
auto ctx = engine->createExecutionContext();
ctx->setTensorAddress("input", d_input); // 显存地址
ctx->setTensorAddress("output", d_output);
ctx->enqueueV3(stream); // 全部 kernel 排进 stream注意推理路径上没有任何图逻辑——engine 内部就是一个排好序的 kernel 序列加静态权重。这也让多路并发有一个明确模型:engine 是只读的、可多 context 共享;context 持有中间激活显存,每路并发一个。多路视频分析场景下,一个 engine 配 N 个 context 绑 N 条 stream 是标准做法,权重只占一份显存,激活各占各的。
部署的三条硬约束必须背下来:
- 硬件绑定:tactic 为构建时的 GPU 架构与 SM 数定制,Ampere 上构建的 engine 不能直接拿到 Hopper 跑(跨代要么重构建,要么构建时加
--hardwareCompatibilityLevel类选项换兼容模式,性能有折损)。 - TensorRT 版本绑定:序列化格式不保证跨大版本兼容,部署环境的 TensorRT 动态库版本必须与构建期一致(或在兼容矩阵内)。升级 TensorRT = 全部 engine 重构建,这是发布流程里要显式排期的事。
- 安全边界:旧版本反序列化不校验 blob 完整性,恶意篡改的 engine 文件有执行任意代码的风险,新版本提供了安全运行时与校验选项,engine 文件应视为二进制制品走签名分发,不要从不可信通道接收。
构建放哪做也有讲究。两条主流路线:离线构建(CI 在目标型号 GPU 上构建,engine 作为制品随镜像分发)启动快、行为确定,是服务端主流;在线构建(设备首次启动时现场构建并缓存)省分发体积、自动适配具体板卡,是 Jetson 等边缘设备的常用模式,代价是首启几十秒到几分钟,必须落 timing cache 和 engine cache,否则每次重启重构建。部分新版本支持 weightless engine(engine 不内嵌权重、运行时外挂),权重可独立更新而不用重构建,适合模型频繁迭代的场景。
六、plugin 与生态位:算子不支持怎么办
ONNX 里出现 TensorRT 不认识的算子(自家搞的自定义层、太新的 op),parser 会直接报错。出路是 plugin:实现 IPluginV2 接口(声明输出 shape 推导、序列化参数、enqueue 时怎么调 CUDA kernel),注册进 plugin registry,parser 遇到对应 op 就把节点交给它。plugin 从构建到推理全程与原生层同权:参与融合边界(plugin 节点通常是融合断点)、参与精度指派、进入序列化。写 plugin 的门槛不在接口而在 kernel 本身——一个慢 plugin 会把整条流水线的收益吃回去,所以官方 repo 里一批预置 plugin(NMS、fused attention、RoIAlign 等)能直接用就别自造。
最后把 TensorRT 放回生态位里看:它只覆盖 NVIDIA GPU,且把「通用性」全部换成了「特定硬件上的极致」。训练框架自带的推理(PyTorch eager)胜在零迁移成本,适合研发期;ONNX Runtime 跨硬件后端,胜在通用;TensorRT 胜在同一块卡上压榨出最后一滴性能——同一个 ResNet-50,从 eager 到 ONNX Runtime 到 TensorRT FP16,时延常见 5~10 倍的逐级压缩。选型逻辑很朴素:NVIDIA 卡 + 模型稳定 + 流量够大摊得动构建成本,就上 TensorRT;模型天天改结构,先停在 ONNX Runtime,把 TensorRT 当性能天花板对照。
这一篇在知识体系里的位置
- 精度原理上游:混合精度 FP16/BF16/FP8 讲 FP16/INT8 数字格式本身,INT8/INT4 量化与校准 讲 calibrator 背后的 scale 与 KL 散度;
- 硬件基础:GPU 存储层次与带宽 解释层融合为什么省带宽,MAC 单元的精度设计 解释 Tensor Core INT8 为什么比 FP16 再快一倍;
- 同层兄弟:NPU 与 TPU 架构对比 看非 NVIDIA 阵营的推理硬件路线,边缘 AI 加速器 看 Jetson 这类部署目标;
- 正交手段:结构化稀疏与剪枝 讲模型侧瘦身,可与 TensorRT 的稀疏 tactic 叠加。
总结
TensorRT 推理优化把一次性的构建成本换成之后每次推理的确定性速度:builder 五步流水线——解析 ONNX、图优化(常量折叠吃掉 BN、垂直融合 CBR/GEMM+epilogue、水平融合 QKV,层数常从几百压到几十)、精度指派(FP16 一键开几乎无损,INT8 要 calibrator 喂 100~500 批真实数据定激活 scale、敏感层白名单回退、QAT+QDQ 显式量化是精度上限路线)、kernel 自动调优(每个候选 tactic 在目标 GPU 实测计时选最快,timing cache 让重复构建从分钟级降到秒级,动态 shape 靠 optimization profile 按流量档位切)、序列化成带硬件与版本双绑定的 engine。部署侧 engine 只读可多 context 共享、每路并发一个 context,engine 文件按二进制制品签名分发;算子缺支持走 plugin;选型上 NVIDIA 卡 + 模型稳定 + 流量够大就上 TensorRT,模型频繁改结构先用 ONNX Runtime 顶着。