torch.compile 推理路径:Inductor 后端的算子融合、自动调优与生产边界
更新时间:2026-10-05。前面 Triton kernel 自动调优 从手写角度讲过 Triton 怎么用 block size 扫描找最优配置,TensorRT 推理优化 讲过 NVIDIA 官方编译栈怎么把网络冻成 engine。夹在两者之间还有第三条路:PyTorch 2.x 自带的
torch.compile,一行装饰器让官方编译器替你写 kernel。很多人对它的印象停留在「加上就快一点」,但它的推理路径其实是一条完整的编译流水线——Dynamo 抓图、AOTAutograd 剪掉训练痕迹、Inductor 做 lowering 和融合、最后吐出 Triton kernel 或 CUDA C++ 代码。本篇把这条 torch.compile 推理路径逐段拆开,回答一个实务问题:它能省多少手写 kernel 的活,又在哪些场景碰不得。
本文要回答的问题
torch.compile标注之后,模型前向到底经历了哪几段编译流程?- Inductor 的算子融合和点-点-归约链的代码生成,具体省掉了什么开销?
- autotune(自动调优)在推理图上怎么工作,max-autotune 模式值不值得开?
- 和手写 kernel、TensorRT engine 比,Inductor 生成代码的性能差距还有多大?
- 生产环境用 torch.compile 的硬边界:动态 shape、编译时延、数值一致性怎么处理?
一、从 Python 字节码到计算图:Dynamo 与 AOTAutograd 干的事
torch.compile 的第一段不是编译器,是「抓图器」。TorchDynamo 挂在 CPython 的帧评估钩子上(PEP 523 留的口),逐函数拦截 Python 字节码,把其中对 tensor 的操作翻译成 FX Graph——一张由 call_function、call_module、call_method 节点构成的数据流图。它不跑抽象解释器,而是真的执行你的代码、在 tensor 上挂代理(proxy)记录操作,所以控制流里的 if x.sum() > 0 这类依赖数据的分支会触发 graph break(图中断):Dynamo 在断点处把图切成两半,前半段编译,分支逻辑交回 Python 解释器,后半段再编译。推理代码里 graph break 的数量基本决定了加速比的下限,这是排查「compile 了但没快」的第一现场。
抓到图之后走 AOTAutograd。名字里带 autograd,但推理场景它的价值恰恰是「去 autograd 化」:在 torch.inference_mode() 下,它把前向图里的 autograd 元数据、视图的版本计数、inplace 操作的别名关系全部展开成纯函数式图(functionalization),顺手把 torch.nn.functional 级别的复合算子分解(decomposition)成一组更小的 prim 算子。一个 F.scaled_dot_product_attention 可能被拆成 matmul、scale、softmax、matmul 四步,也可能按硬件能力保留为单个节点留给后端决断。
functionalization 这一步容易被忽略,但它决定了后续融合的自由度。PyTorch eager 里 x.add_(1) 这种 inplace 写和 y = x.view(...) 这种别名视图,对编译器都是麻烦:inplace 意味着写入顺序成了语义的一部分,别名意味着改 y 可能波及 x。AOTAutograd 把它们统一改写成「每个算子返回新张量」的纯函数形式,外加一张记录「最后谁该写回谁」的清单。图变成纯数据流之后,Inductor 重排、融合都不必再担心副作用——这是编译器教科书里的经典手法,PyTorch 把它搬到了深度学习框架的运行时里。
上图五个节点就是 torch.compile 推理路径的主干。要强调的一点是这条流水线和硬件解耦:到 lowering 之前,图里没有任何 GPU 概念,所以同一份模型代码可以落到 CUDA、ROCm 甚至纯 CPU 的代码生成器上。这也是它和 TensorRT 路线的根本分野——TensorRT 在 import 阶段就把图钉死在 NVIDIA 的算子库和格式上,Inductor 则把「生成什么 kernel」的决定推迟到最后一刻。
二、Inductor 的看家本领:融合与 Triton 代码生成
Inductor(对 NVIDIA GPU 而言)的默认代码生成目标是 Triton。选择 Triton 而不是 CUDA C++ 的原因很实际:Python 写的模板可以在编译期即时生成、即时 autotune,不需要 nvcc 参与,编译时延可控;而 Triton 本身的 block 编程模型足够表达 GEMM 之外的大多数算子。
融合(fusion)是 Inductor 收益的最大来源。原理一句话:中间结果不落 HBM,留在寄存器或 shared memory 里串成一条 kernel。在 kernel 启动开销与融合 里算过账:一次 kernel launch 固定成本 3-5 微秒,访存受限的小算子里数据的搬运费远超计算费。一个 LayerNorm 跟着一个 GELU 再跟一个残差加,eager 模式是三次 launch、三趟 HBM 往返;Inductor 的调度器会把 pointwise(逐元素)链和前后的 reduction(归约)按「无中间全局写」原则合并,经常能压成一次 launch。
Inductor 的融合规则可以粗分三档:
- pointwise 链垂直融合:一连串逐元素操作无条件合并,寄存器里直接流过去;
- reduction 加前后 pointwise:softmax、LayerNorm 这类归约,把归约前的 scale、mask 和归约后的 normalize 吸进同一个 kernel 的 prologue 和 epilogue;
- template 融合(需 autotune):matmul/conv 用 Triton 模板实现时,把后随的 bias、activation、残差加融进 GEMM 的 epilogue——这是 rmsnorm-rope 融合 kernel 那篇手工干的事的自动化版本。
生成的 Triton kernel 长什么样?对上面的链,Inductor 会产出一个带 tl.load、若干行向量运算、tl.store 的程序,循环网格按输出张量拉平成一维,block size 是编译期常量。读这种生成代码有个窍门:变量名里的 tmp0、tmp1 对应原图里的中间节点,顺着 store 反推 load 就能还原融合前的算子序。调 TORCH_LOGS=output_code 可以把全部生成代码 dump 出来,这是定位 Inductor 数值 bug 的必备开关。
三、autotune:编译期跑基准,选最快的那个
第二节说 template 融合「需 autotune」,这里展开。Inductor 的 autotune 分两类。一类是 Triton block 配置扫描:和 Triton kernel 自动调优 手工做的事一样,对每个生成的 kernel 试几组 BLOCK_SIZE 和 num_warps、num_stages,真实计时取最优。另一类是 matmul 模板选择:在 mode="max-autotune" 下,Inductor 会把同一个 matmul 分别用 ATen(cuBLAS 调用)、Triton 模板(多种 tile 配置)、以及 CUTLASS 后端(实验性)各编译一份,跑真数据计时,赢者进最终产物。
这套机制的直接后果是编译时间和运行性能可以互换。默认模式编译快、matmul 一律走 cuBLAS;max-autotune 模式下一个大模型的首次编译可以从几十秒膨胀到十几分钟,但换来的是每个 GEMM 都按当前 shape 实测选优。对推理服务这种「编译一次、跑百万次」的负载,这笔账往往划算——Triton 模板在 decode 阶段的小 batch GEMM(M 维只有个位数)上经常打赢 cuBLAS,因为 cuBLAS 的启发式是为训练形状调的。
还有一档中间选项值得知道:max-autotune-no-cudagraphs 和坐标下降调优(torch._inductor.config.coordinate_descent_tuning=True)。前者只要 autotune 不要 cudagraph 包装,适合内存地址没法固定的场景;后者在已选出的配置上继续对相邻参数做贪心微调,能再挤出几个百分点,代价是编译时间再涨一截。经验顺序是:先默认模式跑通正确性,再上 max-autotune 收性能,坐标下降只在还差最后一口气时开。
autotune 的结果存在本地缓存(~/.cache/torch/inductor 或 TORCHINDUCTOR_CACHE_DIR 指定目录),同 shape 重编译直接命中,所以生产镜像的通行做法是预热(warmup):部署前用代表性 shape 跑一遍编译,把缓存打进镜像,线上启动只加载不重算。这一点和 TensorRT 提前 build engine 的思路完全同构,区别只是产物形态是 Triton 源码加编译缓存而非序列化 engine。
四、与手写 kernel 和 TensorRT 的差距:一张诚实的账
说完了机制,必须泼冷水:Inductor 不是免费的午餐,它和两条替代路线的差距都真实存在。
对手写 kernel(FA3、Marlin、各类定制 decode kernel),差距在结构。Inductor 的融合是局部贪婪的——它能融点-点-归约链,但跨算子的全局重组(flash attention 的在线 softmax、decode 阶段的 split-K 加 stream-K、persistent megakernel 那种整个 decode step 一个 kernel 的写法)超出调度器能力。对 attention 这种算子里有算法巧思的节点,Inductor 的实际策略是「不编译它,调用现成库」——SDPA 节点默认映射回 FlashAttention 的手写 kernel。所以正确的心智模型是:Inductor 消灭的是模型里 80% 的「胶水算子」开销,剩下 20% 的算力大头仍然吃手写 kernel 的红利,两者是叠加关系不是替代关系。
对 TensorRT,差距在确定性。TensorRT engine 是离线定型的:层融合、精度校准、kernel 选择全部冻结,加载即跑,无编译时延,无动态 shape 意外。Inductor 的优势是开发体验(模型代码不改、新算子不用等插件)和 PyTorch 原生语义,代价是引入了编译时延、动态 shape 重编译、以及 autotune 结果的硬件依赖性。实测经验值:静态 shape 的 CNN/encoder 类模型,两者 latency 差距通常在 5% 以内;LLM decode 这种形状多变、胶水算子密集的负载,Inductor 加 cudagraph 往往追平甚至小胜 TensorRT-LLM 之外的 TensorRT 方案,但输给 TensorRT-LLM 的 inflight batching 那种系统级优化。
| 维度 | eager PyTorch | torch.compile(Inductor) | 手写 kernel | TensorRT |
|---|---|---|---|---|
| 胶水算子开销 | 全付 | 融合消灭大头 | 视实现 | 融合消灭 |
| 关键算子(attention 等) | 调库 | 调库 | 最优 | 调库 |
| 编译时延 | 无 | 秒级到分钟级 | 无(开发期付) | 离线 build |
| 动态 shape | 原生 | 重编译或动态 kernel | 需手工覆盖 | 需 profile 集 |
| 数值一致性 | 基准 | 分解后偶发漂移 | 自负 | 校准后可控漂移 |
| 硬件绑定 | 无 | 弱绑定 | 强绑定 | 强绑定 |
| 适用阶段 | 研发 | 研发到生产 | 热点攻坚 | 定型生产 |
五、生产可用性边界:哪些坑必须先想清楚
把 torch.compile 推上生产,有四道坎,每道都有明确的对策,也都有「过不了就别上」的红线。
第一道是动态 shape。torch.compile 默认按静态 shape 编译,shape 变了触发 guard 失败、整段重编译。LLM serving 里 batch size 和序列长度一直在变,对策有三:用 dynamic=True 生成带符号 shape 的 kernel(性能略损)、把请求按 shape 分桶(bucket)每桶一份编译产物、以及 mark_dynamic 只放开真正变的维度。红线是:重编译风暴不可控的负载不要上——如果流量形状是长尾分布,分桶数会爆炸,编译时延直接打穿 P99。
第二道是编译时延本身。除了预热进缓存,还可以开 TORCHINDUCTOR_FX_GRAPH_CACHE=1(FX 图级缓存,跨进程复用编译产物)和 remote cache(团队共享编译结果)。CI 里跑一遍代表性 shape 的预热脚本,应该成为上线清单的固定一项。还有一个隐蔽的时延来源是 guard 求值:每次调用编译产物,运行时都要核对「这次的输入还满足编译时的假设吗」——shape、dtype、stride、设备、甚至 Python 全局变量的身份。guard 数量随图复杂度增长,纯 Python 求值的开销在极端小模型上能占到单步时延的一成,这也是为什么 PyTorch 后来把 guard 求值本身也下沉到了 C++。
第三道是数值一致性。decomposition 会把一些算子换成数学等价但浮点行为不同的实现,个别模型(对 LayerNorm epsilon 位置敏感、或依赖特定舍入顺序的)会出现肉眼可辨的输出漂移。验收标准是端到端指标而不是逐位对比:留出集上跑一遍精度回归,容忍度内即放行。遇到漂移,先用 torch._inductor.config.fallback_random 和分解白名单排查,别一上来就怀疑硬件。
第四道是与 CUDA graphs 的交互。Inductor 在 reduce-overhead 模式下会自动把可捕获的段包成 CUDA graph,省掉 launch 开销——原理见 CUDA Graphs 捕获与回放。坑在于捕获要求内存地址固定,输入必须拷进静态缓冲,这批静默的拷贝在小 batch 下可能吃掉一半收益;另外 graph 捕获期间任何非法操作(同步、动态分配)会直接报错,报错信息经常指向无关位置,排查时先关 cudagraphs(torch._inductor.config.triton.cudagraphs=False)二分定位。
这道检查单的潜台词是:torch.compile 在生产环境是确定性工程,不是即插即用的开关。把它当成「离线编译器加运行时缓存」来对待——像对待 TensorRT build 一样管理编译产物、预热缓存、锁定版本——它就是稳定可靠的;当成魔法装饰器随手一加,动态 shape 和重编译早晚教你做人。
这一篇在知识体系里的位置
本篇是 GPU 推理优化系列里「编译器路线」的枢纽篇:手写侧的上游是 Triton kernel 自动调优(Inductor autotune 的手工版)和 rmsnorm-rope 融合 kernel(Inductor 融合规则的手工版);编译器路线的对照组是 TensorRT 推理优化 与 TensorRT-LLM inflight batching;运行时机制的依赖是 CUDA Graphs 捕获与回放 和 kernel 启动开销与融合;算法侧超出编译器能力的场景见 persistent megakernel decode。
阅读顺序建议:先建立「launch 开销加访存往返」的成本模型,再看本篇的流水线五段,最后用 TORCH_LOGS=output_code 把自己模型的生成代码 dump 出来对照——能认出每个 Triton kernel 融合了原图里哪几个节点,就算真正读懂了 Inductor。
总结
torch.compile 推理路径是一条五段编译流水线:TorchDynamo 从 Python 字节码抓出 FX 图(数据依赖分支处 graph break 分段),AOTAutograd 在 inference_mode 下剪掉训练痕迹并把复合算子分解成 prim 集,Inductor 在循环级 IR 上做点-点-归约链的贪婪融合,代码生成产出 Triton kernel,autotune 在编译期对 block 配置和 matmul 模板真机计时选优——它消灭的是模型里八成胶水算子的 launch 与访存开销,attention 等算力大头仍依赖手写 kernel,与 TensorRT 的差距在编译时延和确定性而非峰值性能;生产可用性的全部秘诀在于把它当离线编译器管理:shape 分桶或静态化、预热缓存进镜像、端到端数值回归、cudagraph 收益实测,四道检查单过了再上, torch.compile 就是 PyTorch 原生生态里性价比最高的一条推理加速路线。