推理引擎选型方法学全景:vLLM、SGLang、TRT-LLM、llama.cpp 的四维对比与按负载决策树
更新时间:2026-10-07。这是一篇枢纽文。站内已经有一批针对单个引擎的深文——vLLM V1 调度器设计、vLLM chunked prefill 配置、SGLang Radix 前缀缓存、TensorRT-LLM in-flight batching、llama.cpp CPU 线程绑定、PagedAttention 与 vLLM 服务化——每篇都在回答「某一个引擎怎么跑好」。这篇换一个更靠近决策的视角:面对 vLLM、SGLang、TensorRT-LLM(NVIDIA 的编译式推理栈)、llama.cpp(CPU 与边缘侧的事实标准)四个主流候选,推理引擎选型到底在选什么,我的负载该用哪套方法把答案收敛出来。推理引擎(inference engine,负责把模型权重变成可服务 API 的运行时系统)之所以需要一套「选型方法学」,是因为它不像数据库那样有公认默认项——四个引擎的目标场景部分重叠又部分错位,选错的代价不是慢一点,而是整套栈换掉的数月返工。
本文要回答的问题
- 推理引擎选型为什么可以收敛成「调度、量化、硬件适配、生态」四个正交维度,各维在回答什么矛盾?
- 调度维度上,vLLM 的连续批处理、SGLang 的前缀感知调度、TRT-LLM 的 in-flight batching 差异在哪?
- 量化维度上,四家对 FP8、int4、GGUF 各档格式的支持深度与精度代价各是什么?
- 硬件适配维度上,GPU、CPU、NPU、多机多卡各自的适配边界画在哪里?
- 面对一个具体业务,一套「先画像、再逐维淘汰、最后小规模实测」的决策流程长什么样?
一、为什么推理引擎选型需要一套方法学
先把错误的选型姿势摆出来。最常见的三种:看谁 GitHub 星多就用谁;看隔壁团队用什么就跟着用;先选一个,等撞墙了再换。三种姿势的共同问题是把「选型」当成一次性投票,而不是一次多维匹配。真实世界里四个引擎各有明确的甜点区:vLLM 是通用 GPU 在线服务的生态默认项,SGLang 在前缀密集型负载上能把吞吐再抬一到三成,TRT-LLM 在 NVIDIA 裸金属上榨极限性能,llama.cpp 统治 CPU 与边缘设备。它们之间的差异不是「谁好谁坏」,而是「在哪根轴上做了不同的取舍」。
这套方法学把选型拆成四个正交维度。调度维度回答「请求怎么排队、怎么拼批、KV 怎么摆」,直接决定吞吐和尾延迟;量化维度回答「权重和 KV 能压到多低精度、精度账怎么算」,直接决定单卡能装多大的模型;硬件适配维度回答「我的卡(或者没有卡)能不能跑、跑得多好」;生态维度回答「模型新发版多久能跟上、踩坑了有没有人踩过」。四维正交,可以独立打分、加权汇总。
在展开之前,先建立一个贯穿全篇的量化直觉:推理引擎的所有差异最终都要折算成「每美元每小时能服务多少 token、P99 延迟是多少」这两条曲线。一块 H100 跑 70B 模型,vLLM 在 64 并发下大约能压出 3000 到 5000 token/s 的输出吞吐;换 SGLang 在前缀重合度高的负载上能多挤 20% 到 30%;换 TRT-LLM 配 FP8 还能再抬一截;而 llama.cpp 在一台 32 核 CPU 服务器上跑同一模型 int4 量化后可能只有个位数 token/s——四个数字差着两个量级,但每个数字在各自的硬件与负载前提下都是「正确」的。推理引擎选型的本质,就是找到你的前提下那个正确的数字。
上图是全文的总地图,读法是从下往上:调度维度贴着业务账最近,是四个引擎差异最集中的一层;量化和硬件适配决定「能不能跑、装不装得下」的硬约束;生态维度在最上面,决定的是长期维护成本。一次认真的推理引擎选型,应该在每一维上给候选打分,而不是只在 benchmark 数字上比大小。
二、调度维度:拼批、前缀与 KV 布局的三种哲学
调度是四个引擎拉开差距的主战场,因为 LLM 推理的负载天然是「长度随机、到达随机、生命周期随机」的三随机流,调度器每毫秒做的拼批决策直接翻译成吞吐。
vLLM:连续批处理加 PagedAttention 的通用解。vLLM 的地基是两件套:连续批处理(continuous batching,每步迭代动态进出请求,不等整批结束)解决拼批效率,PagedAttention 用分页式 KV 管理把碎片压到 4% 以内。V1 架构把调度器重构成「请求状态机加 block 分配器」的清晰分层,细节见 vLLM V1 调度器设计。它的调度哲学是「通用优先」:不对流量结构做任何假设,短请求长请求混着来也能稳。chunked prefill(把长 prefill 切片混入 decode 批次)是它压制 TTFT(Time To First Token,首 token 延迟)毛刺的关键开关,配置口径见 vLLM chunked prefill 配置。
SGLang:前缀感知调度的激进派。SGLang 在 vLLM 同款地基上多走了一步:RadixAttention 把 KV block 组织成基数树,调度器做「前缀感知」的拼批决策——优先把共享前缀的请求排在一起执行,让前缀缓存命中率从「被动撞上」变成「主动制造」。在多轮对话、少样本提示、结构化输出(JSON 约束解码)这类前缀高度重合的负载上,这个调度策略能把等效吞吐再抬 20% 到 30%。机制见 SGLang Radix 前缀缓存。代价是调度器更复杂,且收益完全取决于流量的前缀重合度——前缀重合度低于一成的负载,它相对 vLLM 没有优势。
TensorRT-LLM:编译期决定一切。TRT-LLM 的调度思路不同:它在引擎构建期就把批量策略、KV 布局、内核选择大量固化进编译产物,运行时的 in-flight batching(与连续批处理同义)执行的是编译期定下的最优计划。机制见 TensorRT-LLM in-flight batching。这带来两个后果:峰值性能更高(内核是手工调优过的),但灵活性更差(换模型、换 max_seq_len 往往要重新构建引擎,一次构建几十分钟到几小时)。
llama.cpp:单流优先的极简调度。llama.cpp 的调度器为「少量并发、资源受限」设计:连续批处理有,但默认配置偏向低并发;它的优化重心根本不在调度,而在让单条请求在 CPU 上跑得尽可能快(线程绑定、缓存亲和,见 llama.cpp CPU 线程绑定)。
把四家放在同一张调度对比表里收个尾,注意最后一列「压力工况行为」往往才是线上事故的分水岭:
| 引擎 | 拼批机制 | 前缀处理 | 压 TTFT 的手段 | 显存打满时的退路 |
|---|---|---|---|---|
| vLLM | 连续批处理 | 自动前缀缓存(block 级) | chunked prefill | 抢占后重算或换出 |
| SGLang | 连续批处理加前缀感知 | RadixAttention 基数树 | 前缀命中直接跳过 | 前缀树驱逐加抢占 |
| TRT-LLM | in-flight batching | block 级复用 | 编译期内核融合 | 按构建期策略拒绝或排队 |
| llama.cpp | 简化连续批处理 | prompt 缓存(会话级) | 无专门机制 | 主要依赖容量预留 |
上图的关键信息是「前缀重合度」这个分叉变量:它是调度维度选型里唯一需要先量化的数字。量法很简单——对线上 prompt 采样做公共前缀统计,重合度超三成的流量值得认真评估 SGLang,低于一成的直接用 vLLM 的通用解,别为不存在的冗余付复杂度税。
调度维度还有一个常被忽略的耦合:调度策略和 KV 管理策略是同一个设计。vLLM 的抢占重算、SGLang 的前缀树驱逐、TRT-LLM 的 block 复用,都是调度器在显存水位告急时的退路。评估一个引擎的调度能力时,要同时看它在「显存快满了」这种压力工况下的行为——是优雅降级(抢占重算)还是直接拒请求,压测时把并发打到容量上限之外才能看出来。
三、量化维度:从 FP8 到 GGUF 的精度账本
量化维度回答「单卡能装多大的模型、能跑多快」。四家的量化能力画像差异极大:
| 维度 | vLLM | SGLang | TRT-LLM | llama.cpp |
|---|---|---|---|---|
| FP8 权重 | 支持(Hopper 起) | 支持 | 支持且最深 | 不支持 |
| int4 权重 | AWQ/GPTQ/Marlin | AWQ/GPTQ | AWQ/GPTQ/自家 | GGUF Q4 全家桶 |
| KV cache 量化 | FP8/int8 | FP8 | FP8/int8 | Q8/Q4 |
| 校准工具链 | 依赖外部(llm-compressor 等) | 同左 | 内置 TensorRT Model Optimizer | 社区量化脚本 |
| 精度兜底 | 逐层回退需手动 | 同左 | 引擎构建时可逐层配 | 逐张量选配 |
FP8 是当前 GPU 在线服务的甜点档:在 H100 上权重 FP8 几乎无损,吞吐收益 30% 到 60%,vLLM、SGLang、TRT-LLM 三家都到了生产可用。int4 是容量受限场景的救场档:70B 模型 int4 权重只要约 35 GB,单卡 H100 装下还剩大半个显存给 KV;代价是内核反量化开销和小 batch 下的精度敏感。GGUF 是 llama.cpp 的自建生态:一套与 GPU 主流量化格式不兼容的独立体系,从 Q2 到 Q8 十几档,逐张量混合精度是它的特色玩法(敏感层留高精度、其余压到底),格式细节见 llama.cpp GGUF 格式。
量化维度的选型要点不在「支持列表」而在「支持深度」。TRT-LLM 的优势是校准工具链内置、逐层精度可在引擎构建时配置,出了精度问题有系统性的兜底手段;vLLM 和 SGLang 依赖外部校准工具产出的量化权重,格式对就能加载,但精度出问题时的排查链路更长;llama.cpp 的 GGUF 生态成熟度极高,但那套格式与 GPU 世界基本不通——用 GGUF 量化出的模型没法直接喂给 vLLM,反之亦然,这是两条技术路线之间的一道墙。
上图强调一个容易被漏算的乘法:权重量化和 KV cache 量化是两列独立的账,可以叠加。int4 权重加 FP8 KV,70B 模型在单卡 H100 上能做到「权重 35 GB 加 KV 池 35 GB」的舒适布局;但要注意精度误差也是叠加的——权重 int4 损失一点、KV int4 再损失一点,叠起来可能越过任务能忍的拐点。生产上的纪律是每加一档量化做一次端到端精度回归,不要把单项的论文数字直接相乘。KV cache 一侧的完整方法学见 KV cache 管理方法学全景。
四、硬件适配维度:从 H100 到树莓派的边界图
硬件适配是四个引擎差异最「硬」的一维——调度策略可以改,量化格式可以转,硬件不支持就是不支持。
vLLM:NVIDIA GPU 是绝对主力(Ampere 起,Hopper 吃满),AMD ROCm 支持已进入可用状态,Intel GPU、TPU、AWS Neuron 在不同程度的跟进中。CPU 支持存在但明显是二等公民。SGLang:硬件画像与 vLLM 高度重叠(同为 PyTorch 生态),NVIDIA 主力、AMD 跟进,差异在于 SGLang 对 DeepSeek MLA 这类新架构的 Day-0 支持往往更快。TRT-LLM:NVIDIA 独占,这是它的上限也是它的下限——在 H100/B200 上它能调用 TensorRT 十几年积累的内核库和硬件特性(如 FP8 Tensor Core 的极限调度),出 NVIDIA 即归零。llama.cpp:硬件覆盖是四家里最夸张的——x86/ARM CPU(AVX2、NEON)、CUDA、ROCm、Metal(Apple Silicon 上表现出色)、Vulkan、甚至树莓派。只要是能跑 C 代码的设备,理论上都在它的射程内。
上图的核心读法:先按硬件圈定候选集,再在候选集内比软件能力。手里是 H100 集群,四选一敞开;手里是 Apple Silicon 开发机加 CPU 服务器的混合环境,llama.cpp 几乎是唯一答案(Mac 上 Metal 后端跑 70B int4 能到 8 到 15 token/s,单人交互可用);手里是 MI300 集群,TRT-LLM 直接出局,vLLM 与 SGLang 二选一。
硬件维度还有一条隐性边界值得点名:多机多卡的成熟度。单节点 8 卡张量并行四家 GPU 引擎都成熟;跨节点流水线并行与专家并行(MoE 模型的 EP 部署)上,vLLM 和 SGLang 在 2026 年都到了生产可用,TRT-LLM 在 NVIDIA 自家 NVLink 域内表现最好,llama.cpp 基本停留在单节点。如果你的模型大到必须跨机(比如 FP8 也要 8 卡以上的巨型 MoE),这条边界会直接改写候选集。
五、生态维度:被低估的长期成本项
生态维度回答的不是「今天能不能跑」,而是「未来两年维护这套栈要花多少人月」。它由四个可观测的子项构成。
模型跟进速度:新架构模型(新的注意力变体、新的 MoE 路由、新的多模态拼接)发布后多久能在引擎里跑起来。vLLM 和 SGLang 背靠 PyTorch 和 HuggingFace Transformers 生态,主流模型通常发布当天到数周内可用;SGLang 团队在 DeepSeek、Qwen 等系列上的 Day-0 支持尤其激进。TRT-LLM 因为要走编译路线,新模型适配需要 NVIDIA 或社区写插件,时滞通常以周计。llama.cpp 对新架构的跟进速度意外地快(社区 convert 脚本文化),但只覆盖它能跑的模型规模。
社区踩坑密度:搜一个问题能不能找到答案。vLLM 的 GitHub issue 过万、中文博客与排错文数以千计,几乎所有生产坑都有人踩过;SGLang 次之但在快速增长;TRT-LLM 的排错严重依赖 NVIDIA 官方文档和企业支持,社区内容稀薄;llama.cpp 社区极大但集中在个人部署场景,生产级问题(高并发稳定性、长时运行内存行为)的讨论密度反而不如 vLLM。
发版节奏与稳定性:vLLM 大约两周一版,功能迭代极快但偶尔有回归,生产上普遍钉版本加灰度;TRT-LLM 跟随 TensorRT 大版本,稳定但慢;llama.cpp 几乎日更,滚动发布,钉 commit 是标准姿势。这一条对运维体系的含义很直接:迭代越快的引擎,你的升级回归流程就要越重——每次升版都要把精度、吞吐、P99 三件事重测一遍,没有这套流程的团队反而应该选慢节奏引擎。
人才可得性:招一个「会 vLLM」的工程师远比招一个「精通 TRT-LLM 引擎构建」的容易,这条在团队扩张期会成为隐性约束——引擎越小众,关键岗位越依赖个别专家,人员流动风险也越高。
上图要传达的核心判断是:生态分的差异以「年」为单位计价,而 benchmark 差异以「毫秒」计价——首月选型会上大家盯着延迟数字,两年后算账时才发现人力成本的大头在生态。这不是说永远选生态最好的,而是说要意识到选 TRT-LLM 换极限性能的同时,你签了一份「长期自备专家」的合同;选 llama.cpp 上边缘设备的同时,签的是「生产化加固自己做」的合同。只要合同是知情签署的,就是合理的推理引擎选型决策。
六、按负载画像的决策树与实测流程
四维都铺开之后,剩下的是把它们组装成可执行的决策流程。先看四组典型负载画像的推荐答案:
| 负载画像 | 首选 | 备选 | 关键依据 |
|---|---|---|---|
| 通用 API 平台(模型杂、流量杂) | vLLM | SGLang | 生态默认项,模型覆盖最广,调度不假设流量结构 |
| 前缀密集型(Agent、少样本、结构化输出) | SGLang | vLLM 加前缀缓存 | RadixAttention 主动制造命中,吞吐抬一到三成 |
| NVIDIA 裸金属极限性能(单模型大规模) | TRT-LLM | vLLM FP8 | 编译期内核调优,FP8 支持最深 |
| CPU 服务器 或 边缘设备 或 Apple Silicon | llama.cpp | 无(基本独家) | 唯一覆盖该硬件光谱的成熟选项 |
| 多 LoRA 微调平台 | vLLM | SGLang | 多 LoRA 热插拔生态最成熟 |
| 超长上下文(128k 以上)离线批处理 | TRT-LLM | vLLM chunked prefill | 长序列内核优化与显存规划更可控 |
决策流程的执行顺序应该是「硬件一票否决 → 负载画像定候选 → 四维打分 → 小规模实测」四步。硬件先把候选集砍到两三个;负载画像按上表收敛到一个首选一个备选;四维打分把团队自身的权重(有没有 NVIDIA 专家、是不是多 LoRA 场景)填进去;最后一步必须用真实流量回放做小规模实测——引擎的官方 benchmark 都是在它的甜点工况下跑的,你的负载是不是它的甜点,只有回放能回答。
上图是完整决策树。两个执行要点值得强调。其一,实测环节的流量回放不需要复杂系统:取线上 1 小时的请求日志(长度分布、到达间隔、prompt 前缀),用一个简单脚本按原节奏打到候选引擎上,采集吞吐曲线和 P50/P99 延迟,半天就能出结果——但多数团队跳过它直接看论文数字,结果在错的前提上做了对的选择。其二,季度复评是这套方法学的收尾动作:引擎迭代极快(vLLM 两周一版、SGLang 的 MoE 优化按季度翻倍),今年输掉的候选明年可能翻盘,把推理引擎选型当成一次性的架构决议,等于主动放弃吃社区迭代红利。与 KV cache 管理的分层选配(见 KV cache 管理方法学全景)一样,这是一个需要随负载和生态持续再平衡的运营机制,而非一次性的采购决策。
最后提醒三个高频踩坑。第一,用 A 引擎的 benchmark 反驳 B 引擎的线上数据——不同工况下的数字没有可比性,统一到你的流量回放下再比。第二,忽略引擎与服务框架的边界——vLLM/SGLang 自带 OpenAI 兼容 API 和路由,TRT-LLM 通常要配 Triton Inference Server,llama.cpp 的 server 模式功能较薄,把这套外围设施的工程量算进选型账。第三,多模型平台试图只选一个引擎——大模型走 vLLM/SGLang、 embedding 和小模型走 llama.cpp 的混合栈在实践中非常普遍,「全公司统一引擎」往往是过度追求一致性的伪需求。
这一篇在知识体系里的位置
本篇是推理引擎专题的枢纽:向上,它假设你已经理解 LLM 推理的 prefill/decode 两阶段、KV cache 的显存账(背景见 KV cache 管理方法学全景 与 PagedAttention 与 vLLM 服务化);向下,每个引擎的机制细节都有长尾深文承接——调度看 vLLM V1 调度器设计 和 TensorRT-LLM in-flight batching,前缀优化看 SGLang Radix 前缀缓存,prefill 调参看 vLLM chunked prefill 配置,CPU 侧优化看 llama.cpp CPU 线程绑定,边缘格式看 llama.cpp GGUF 格式。读完本篇你应该能回答「我的硬件和负载下,推理引擎选型该收敛到哪一两个候选」,再带着具体候选去长尾文里抠部署参数。
总结
推理引擎选型是一套四维方法学:先按硬件一票否决圈定候选集(非 NVIDIA 划掉 TRT-LLM、无 GPU 直达 llama.cpp),再按负载画像收敛(通用流量选 vLLM、前缀密集型选 SGLang、NVIDIA 极限性能选 TRT-LLM、CPU 与边缘选 llama.cpp),然后在调度、量化、硬件适配、生态四个维度上按团队权重打分——调度维度先看前缀重合度这一个数字,量化维度记住权重与 KV 是两列可叠加的账且 GGUF 与 GPU 格式互不兼容,生态维度的成本按年计价常被首月 benchmark 掩盖;最后用真实流量回放做半天小规模实测再灰度上线,并把选型当成需要季度复评的运营机制而非一次性决议。