TensorRT-LLM:in-flight batching 机制、executor 架构与 plugin 体系工程解析
更新时间:2026-10-01。谈 LLM 推理引擎,社区声量最大的是 vLLM,但在 NVIDIA GPU 上把单卡性能压到极限的,往往是 TensorRT-LLM。它不是「又一个 Python 框架」,而是一套 C++ 内核 + Python 绑定的编译式引擎:模型先被编译成 TensorRT engine,再由一个常驻的 executor 进程做调度执行。本站前置知识已备好:continuous batching 调度器 讲了迭代级调度的通用原理,KV cache 与推理显存 讲了显存账本,PagedAttention 与 vLLM serving 讲了分页显存管理,TensorRT 推理优化 讲了 TensorRT 本身的图优化与层融合。这一篇回答:TensorRT-LLM 的 in-flight batching 与 continuous batching 是什么关系、executor 架构怎么组织、plugin 体系解决了什么、什么场景下它比 vLLM 更值得选。
本文要回答的问题
- TensorRT-LLM 的 in-flight batching 和 vLLM 的 continuous batching 是不是一回事?
- executor(执行器)架构分几层,调度循环跑在哪一侧?
- KV cache 在 TensorRT-LLM 里怎么分页、怎么复用(含 KV cache reuse)?
- plugin 体系是什么,为什么 fused kernel 必须靠它挂进 TensorRT 计算图?
- 工程选型上,TensorRT-LLM 和 vLLM 各自的甜点位在哪里?
一、定位:编译式引擎,而不是运行时框架
理解 TensorRT-LLM 的第一步是理解它的形态。vLLM 是运行时框架:加载 HF 权重、即时构图、Python 调度器逐迭代下发 CUDA kernel。TensorRT-LLM 是编译式引擎,工作流分两段:
离线段,用 trtllm-build 把模型定义(通过它的 Python API 或从 checkpoint 转换)编译成 TensorRT engine 文件。这个过程做的是图级优化:算子融合、精度校准(FP8/INT8/INT4 量化)、kernel 自动调优(autotuning 在候选 kernel 实现里按实测选最快)、按目标 GPU 架构(SM90/SM100 等)固化执行计划。编译产物是序列化的 engine,启动加载只需反序列化,不做任何图变换。
在线段,executor 进程加载 engine,对外提供 gRPC 或 Python API,内部跑调度循环:接收请求、组 batch、驱动 engine 逐迭代执行、流式吐 token。这个两段式形态带来一个直接的部署后果:版本发布的单位不是「代码 + 权重」,而是「代码 + engine」,CI 流水线里必须把编译环节做成标准工序,engine 产物进制品库按版本可追溯,否则线上回滚时会发现没有对应的历史 engine 可用。
这张图划出了 TensorRT-LLM 和 vLLM 最根本的分界线:图优化的时点。编译式的好处是运行时零图变换开销、kernel 选择经过实测调优,坏处是迭代慢——改一处模型结构要重新编译 engine,小模型几分钟、大模型加量化校准可能要半小时以上。这个形态差异会贯穿后面每一节的对比。
二、in-flight batching:C++ 调度器里的 continuous batching
in-flight batching 直译是「在飞批处理」,机制和 continuous batching 调度器 讲的迭代级调度是同一个思想:不再整批请求同进同出,而是每个调度迭代(iteration)重新组 batch——完成的请求立刻退出释放槽位,排队中的新请求立刻补位进入,prefill 和 decode 请求可以混在同一个 batch 里。
区别在于实现位置。vLLM 的调度器跑在 Python 层,每个迭代要做 block table 维护、sampling 参数处理、序列状态机更新,Python 开销在小 batch 大步频场景(比如 decode 阶段每步只有几十毫秒)占比可观。TensorRT-LLM 把调度循环整体下沉到 C++ 的 executor 里:请求状态、KV block 分配、batch 组装全在 C++ 侧完成,Python 只通过 pybind 提交请求和回调结果。官方口径下这条路径的调度开销能压到 Python 方案的几分之一,在 decode 步时延极短的小模型上差距尤其明显。
上图是 in-flight batching 的核心画面:槽位不等齐、随完随补。注意它和 chunked prefill 可以叠加——调度器支持配置最大 token 预算,把长 prefill 切块与 decode 混排,避免长 prompt 卡住整批,思路和 SARATHI 一脉相承(原理见 预填充解码分离与 chunked prefill)。TensorRT-LLM 的调度策略选项里,GUARANTEED_NO_EVICT 保证已进 batch 的请求不被踢出,MAX_UTILIZATION 则允许在显存压力下回收低优先级请求的 KV 重算,对应不同的 SLO 哲学。
值得强调的是调度器和执行的解耦:C++ executor 里有一个统计模块逐迭代记录 batch 大小、KV 占用、每步时延,这些数据通过 IterationStats 暴露出来,是做容量规划和 P99 分析的一手原料——比 Python 侧打点更贴近真实调度时刻。
in-flight batching 还有几个工程细节值得知道。一是调度的准入控制:新请求不是无条件立刻补位,调度器会先估算它的 KV 需求和 prefill 计算量,确认当前迭代塞进去不会把 batch 撑爆或把 decode 时延拖过阈值,否则让它在队列里再等一轮。这个准入逻辑和 chunked prefill 的 token 预算共用同一套容量模型,相当于给调度器装了「水位计」。二是多请求的采样参数(温度、top-p、重复惩罚、beam search)在组 batch 时被统一向量化,不同请求的不同采样配置不需要拆批执行——beam search 场景下每个 beam 被当成独立序列管理 KV,调度模型不变。三是取消与超时:流式场景用户中途断开连接,executor 在下一个调度迭代就把该请求从 batch 里摘除、回收 KV 槽位,不会白算到 max_tokens 才停——长输出的无效生成是线上 GPU 浪费的大头,这条路径处理干净与否直接反映在每 token 成本上。
三、executor 架构:三层结构与 KV 管理
TensorRT-LLM 的运行时可以拆成三层看。最上是 API 层:Python 的 LLM 类、Executor 绑定,或 Triton Inference Server 的 TensorRT-LLM backend,负责把请求塞进队列、把 token 回调出来。中间是 executor 核心(C++):调度器、KV cache 管理器、batch 组装器,外加可选的 MPI/UCX 通信层做多卡多机并行。最下是 TensorRT engine 本身:编译期固化的算子图,按调度器给的 batch 形状逐迭代执行。
这张三层图里信息量最大的是中间的 KV cache 管理器,展开说三点。
第一,分页管理。和 PagedAttention 同源:KV cache 切成固定大小的 block(默认 64 或 128 token 一个 block),按 block 分配,请求之间可以共享前缀 block。共享带来的直接收益是 system prompt 复用——一千条请求共用同一段系统提示,KV 只存一份,显存省一个数量级。TensorRT-LLM 把这个能力做成了显式的 KV cache reuse 开关,还配了基于哈希的 block 匹配,前缀命中时连重算都省掉,对 RAG 和多轮对话场景收益巨大。KV 显存的底层账本见 KV cache 与推理显存。
第二,优先级驱逐与重算。显存打满时,KV 管理器可以按请求优先级驱逐 block:低优先级请求的 KV 被释放,请求回到 context 队列等重算。这让引擎在过载时退化得优雅——牺牲少数请求的时延保住整体吞吐,而不是 OOM 崩掉。
第三,分层卸载(KV cache offload)。被驱逐的 block 不一定丢弃,可以先搬到主机内存甚至 SSD,请求重新激活时再搬回来。长上下文场景下这等于用 PCIe 带宽换显存容量,和 kv-cache-offload 类方案 思路一致。对多轮长对话,命中率足够高时卸载比重算便宜——搬 100MB KV 比重算几万 token 的 prefill 快得多。
executor 架构还有一个容易被低估的工程点:overlap scheduler。开启后,第 t 个迭代的 GPU 执行与第 t+1 个迭代的 CPU 侧调度(组 batch、更新 block 表)流水重叠,进一步压缩 GPU 空泡。对小模型 decode 这种「GPU 干活 20ms、调度 5ms」的场景,overlap 能把吞吐再抬一截。
四、plugin 体系:fused kernel 的挂载机制
TensorRT 原生是为视觉/CNN 时代设计的推理引擎,自带的算子集覆盖不了 LLM 的新算子:带 RoPE(旋转位置编码)的 attention、PagedAttention 的 block 寻址、FP8 量化的 GEMM、MoE 的分组路由 GEMM、投机解码的草稿验证……这些算子在 TensorRT 图里不存在,plugin 体系就是 TensorRT-LLM 给它们开的后门。
plugin 是实现了 TensorRT IPluginV3 接口的自定义算子节点:声明输入输出形状推导规则、支持的精度组合、以及具体的 CUDA kernel 实现。编译 engine 时,构建器遇到 plugin 节点就调用它的形状推导和 autotune 接口;运行时,plugin 节点和普通算子一样参与图的执行调度,还能和前后的算子做融合协商。
这张 plugin 家族图点出了体系的价值所在。以 GPTAttention plugin 为例:如果用原生算子拼 attention,RoPE 旋转、KV cache 写入、paged block 寻址、scaled dot-product 是一串独立 kernel,每个 kernel 都有启动开销和中间张量的显存往返。plugin 把整个流程收进一个 fused kernel(底层走 FMHA,fused multi-head attention),启动一次、中间结果不出寄存器和 shared memory。FlashAttention 为什么必须整体融合的原理见 FlashAttention 显存分块。
plugin 体系的第二个价值是硬件代际的提前占位。新 GPU 架构(比如 FP4 支持)发布时,TensorRT-LLM 的 plugin 能第一时间接入新指令集的 kernel——NVIDIA 自己写的,和硬件团队同步开发。第三方框架要等社区适配,时差常常是几个月。这就是为什么同一台机器上,TensorRT-LLM 的单卡吞吐经常领先:不是调度算法更聪明,是 kernel 离硬件更近。
代价同样真实:plugin 是黑盒 C++,出问题排查难度远高于 Python 框架;模型结构稍有非标(自定义 attention 变体、特殊位置编码),可能没有现成 plugin,要么退回到低效的原生算子拼接,要么自己写 CUDA kernel 包成 plugin——门槛不低。
plugin 体系还有一个版本兼容的坑必须提前知道:engine 是连同 plugin 的二进制实现一起序列化的,换 TensorRT-LLM 版本、换驱动大版本、甚至换 GPU 型号(比如从 H100 迁到 B200),旧 engine 都可能拒绝加载或静默走慢速路径。生产上的纪律是 engine 与运行时镜像绑定发布、按 GPU 型号分仓存放,升级时全量重编译而不是尝试复用旧产物。这个约束和 vLLM「权重加代码即服务」的灵活形态形成鲜明对照,也是编译式路线运维成本里最容易被低估的一项。
对自研 kernel 的团队,plugin 接口同时也是扩展点:把自己写的 CUDA 算子(比如定制的稀疏 attention、特殊的归一化变体)按 IPluginV3 规范包好,就能享受 TensorRT 的图优化和 autotune 基础设施,不必从零搭执行引擎。这条路径在推荐模型、多模态模型的私有算子集成上用得很多——框架提供骨架,业务填入刀刃。
五、与 vLLM 的路线对比
把两条路线摆到一张表上,差异就立体了。
| 维度 | TensorRT-LLM | vLLM |
|---|---|---|
| 形态 | 编译式引擎,engine 序列化部署 | 运行时框架,即时构图 |
| 调度实现 | C++ executor,in-flight batching | Python 调度器,continuous batching |
| 单卡峰值吞吐 | 高,fused plugin + autotune | 较高,略低于 TRT-LLM |
| 新硬件适配 | NVIDIA 同步发布,最快 | 社区跟进,有滞后 |
| 新模型适配 | 需建模+编译,天级 | 改 Python 模型类,小时级 |
| 量化支持 | FP8/INT4 成熟,校准工具链全 | 支持广,精度工具链略散 |
| 可调试性 | C++ 黑盒,排障难 | Python 全透明,改起来快 |
| 生态集成 | Triton backend 是主入口 | OpenAI 兼容 API 开箱即用 |
| 多机扩展 | MPI/UCX,PP 支持早 | Ray/多进程,社区方案多 |
经验性的选型结论是这样几档。追求单卡极限性能、模型相对固定(线上主力模型几个月不换)、且团队能接受编译式工作流的,TensorRT-LLM 是吞吐和成本的最优解——同样的卡数能扛更高的 QPS,摊到每 token 的算力成本更低。模型迭代快、要快速跟进社区新架构(几乎每周都有新模型结构)、或者团队以 Python 为主没有 C++ 储备的,vLLM 的迭代速度优势压倒性能差距——差 10% 的吞吐,快 10 倍的上线速度。
还有一个常被忽略的维度是显存利用率曲线的形态。TensorRT-LLM 的 engine 在编译期就把激活值的显存布局规划好了(TensorRT 的内存复用计划),运行时只有 KV cache 池是动态的,显存占用曲线平坦可预期;vLLM 的运行时构图意味着激活显存随 batch 形状浮动,需要靠显存水位参数(gpu_memory_utilization)留安全垫。对多实例混部(一台机器跑多个模型副本或和其他业务共享)的场景,前者的可预期性是实打实的运维优势——容量规划敢把水位打到 90% 以上,后者通常只敢到 80%。
生产上两者并非互斥。常见的组合是:实验和快速上线走 vLLM,验证流量价值后的主力模型编译成 TensorRT-LLM 跑稳定流量;甚至同一个集群里两种引擎并存,按模型路由。两者在调度思想(迭代级 batching、分页 KV、前缀复用)上已经高度趋同,团队的知识储备可以互相迁移。另外,无论选哪条路线,当单实例优化到顶、TTFT 和 TPOT 开始互相打架时,下一步都是 PD 分离架构(见 预填充解码分离与 chunked prefill),那是引擎之上的架构层问题,与选型无关。
这一篇在知识体系里的位置
本篇是 LLM serving 引擎层的「NVIDIA 官方路线」解析,与社区路线的 PagedAttention 与 vLLM serving 互为对照。调度思想上承接 continuous batching 调度器,显存管理上承接 KV cache 与推理显存,编译优化底座见 TensorRT 推理优化,attention 融合的底层原理见 FlashAttention 显存分块。往架构层走,PD 分离见 预填充解码分离与 chunked prefill,集群化部署见 分离式推理集群,MoE 模型的并行化见 MoE serving 专家并行,多卡互联硬件底座见 NVLink 与 PCIe GPU 互联。
总结
TensorRT-LLM 用「编译式引擎 + C++ executor + plugin 体系」三板斧把 LLM 推理压到离硬件最近的位置:in-flight batching 在 C++ 调度器里实现迭代级组 batch、随完随补,分页 KV 管理带前缀复用和分层卸载,plugin 机制把 paged attention、FP8 GEMM、MoE 路由等新算子以 fused kernel 形式挂进 TensorRT 计算图——单卡吞吐常压 vLLM 一头,代价是编译式工作流的迭代速度和 C++ 黑盒的排障难度;模型稳定追极限性能选它,模型日变追上线速度选 vLLM,两条路线终将在 PD 分离的架构层会师。