MLC LLM 部署速查:TVM 编译链路、跨端优势与生态位
更新时间:2026-10-05。前面几篇讲的都是服务端推理——continuous batching 调度器、TensorRT-LLM 的 inflight batching 默认你有一台装着 A100/H100 的机器。但如果目标是把 7B 模型塞进 iPhone、安卓旗舰、甚至浏览器标签页呢?这条路线上最有代表性的开源栈就是 MLC LLM(Machine Learning Compilation for LLM):它把模型编译成目标平台的原生库,让同一份模型定义跑在 CUDA、Metal、Vulkan、WebGPU 上。本篇做一篇速查:编译部署链路怎么走、跨端优势从哪来、和主流服务端引擎的生态位怎么划。
本文要回答的问题
- MLC LLM 的一次部署,从 Hugging Face 权重到设备上跑起来,中间经过哪几道工序?
- 「一次编译、处处运行」靠 TVM 的哪几层抽象撑起来的?
- 量化在 MLC 里和服务器侧做法有什么不同?
- 手机、浏览器、桌面三种落地形态各自的天花板在哪?
- 什么场景选 MLC,什么场景该选 vLLM / TensorRT-LLM / ONNX Runtime?
一、部署链路:从权重到原生库的四道工序
MLC LLM 部署的核心特征是离线编译、在线零框架依赖。服务端引擎是「装一个运行时 + 加载权重」,MLC 是「编译出一坨针对这台设备的机器码 + 打包权重」。完整链路四步:
上图里最关键的分工:所有重决策都发生在编译期。mlc_llm convert_weight 把 FP16 权重量化成 q4f16_1(4bit 权重、FP16 计算)这类预设方案;mlc_llm gen_config 定上下文长度、batch 上限、KV cache 规格;mlc_llm compile 把模型图用 TVM 的 Relax 前端落到目标后端(--device cuda / metal / vulkan / webgpu)。产物是模型库文件加量化权重,设备端只需要一个几百 KB 的通用运行时。这和 weight-only 量化的 GPTQ/AWQ 路线 思路同源,但 MLC 的量化格式是编译期固化进 kernel 的——group size、scale 排布直接生成专用反量化代码,没有运行期的格式分支。
实际操作的节奏感也要说明:一次完整编译在开发机上大约几分钟到十几分钟,产物按「模型 × 量化方案 × 后端」三维度组合爆炸——一个 7B 模型出 q4 和 q3 两档、再乘四个后端,就是八份产物要各自验证。官方在 Hugging Face 上维护了常见模型的预编译仓库,覆盖主流组合,先试预编译产物、确认精度与速度能接受、再考虑自编译定制,是省时间的标准路径。自编译真正必要的场景主要有两类:一是用了官方没覆盖的模型变体或自定义结构,二是要压一个官方没有的量化方案或上下文长度。
二、跨端优势从哪来:TVM 的中间层
跨端不是把 CUDA kernel 移植五遍。TVM(Tensor Virtual Machine,陈天奇团队起的机器学习编译栈)给算子定义和硬件之间垫了两层抽象:上层是图级 IR(Relax),下层是张量级 IR(TIR)加 schedule(调度原语:tile、vectorize、unroll)。同一个 GEMV,写一份高层描述,编译器按目标后端的特征生成对应实现——CUDA 走 cooperative thread 切分,Metal 走 threadgroup,WebGPU 走 WGSL compute shader。
上图解释了为什么 MLC 能长期覆盖四个后端而人力开销可控:新增一个算子主要是写 Relax 层定义和少量 TIR schedule,四个平台的分发是编译器的事。对照 Triton 式 kernel 自动调参,Triton 解决的是「一个后端(CUDA)内自动找最优 block 形状」,TVM 解决的是「多个后端各自生成能跑的实现」——两者抽象层级不同,MLC 在 CUDA 后端上也会做 per-shape 的自动调优,思路与 Triton autotune 相通。
这条路线的另一个隐性收益是图级优化统一在编译期做掉:算子融合、常量折叠、布局转换这些在服务端引擎里分散在各层的工作,在 TVM 里是 Relax pass 列表里的一串变换,比如把 RMSNorm 的归约和后续 GEMV 的 epilogue 融成一个 kernel、把 RoPE 的 sin/cos 表预先折叠进常量。编译期做融合的好处是结果可复现、产物可审计——编出来的 .so 里有哪些 kernel 一目了然;坏处是灵活性让位:运行期想换个 attention 变体(比如从 GQA 换成 sliding window),服务端引擎改个配置就行,MLC 得回到编译流水线重走一遍。这也是为什么 MLC 的项目模板里把「模型变体」做成参数化的 gen_config 选项,尽量把常见的结构差异(层数、头数、滑窗大小)留在配置层而不是代码层。
三、三种落地形态与各自天花板
| 形态 | 入口 | 实测天花板(经验值) | 适合场景 |
|---|---|---|---|
| 手机/平板 | MLCChat App、mlc_llm Python wheel | 旗舰 SoC 上 7B q4 约 8~15 tok/s | 离线助手、隐私数据本地处理 |
| 浏览器 | WebLLM(WebGPU) | 桌面 Chrome 上 3B~8B 可用,移动端吃紧 | 纯前端 demo、无安装分发 |
| 桌面/工作站 | mlc_llm serve(OpenAI 兼容 API) | 消费级 GPU(4090)7B q4 可达 60+ tok/s | 个人本地服务、小团队内网 |
三个共同约束要心里有数。第一,显存预算由编译期锁定:KV cache 的 max seq len 写进 config,超了要么重编译要么截断,不像 PagedAttention 那样按需动态换页。第二,batch 能力弱:MLC 的 serving 支持 batch,但调度复杂度远不及 continuous batching,高并发不是它的战场。第三,新模型适配滞后:新架构出来要等 MLC 侧补 Relax 定义,快则几天慢则数周,而 HF transformers 通常当天可用。
落地时还有几条经验值得提前知道。手机上发热是硬约束:持续 decode 几分钟就会触发降频,标称 12 tok/s 的机型长会话里会掉到 8 左右,产品设计要按降频后的数字留余量。浏览器形态里 WebGPU 的普及度是关键路径——Chrome/Edge 桌面端已稳,Safari 的支持节奏直接影响 WebLLM 能覆盖多少终端用户,做 To C 产品前先用目标浏览器矩阵实测一遍。桌面 serve 形态虽然挂着 OpenAI 兼容 API 的名,但功能集是子集:logprobs、复杂 sampling 参数、prefix cache 这类高级特性支持不全,把它当「个人推理后端」而非「vLLM 平替」预期就对。最后,量化位宽选择建议从 q4f16_1 起步——q3 再省 20% 显存但端侧 SoC 的 GPU 上反量化开销会把省下的带宽吃回去一截,净收益常常不如预期,这块的权衡逻辑和 KV cache INT4 量化 里讲的「省带宽与反量化开销的账」是同一本账。
四、生态位:和 vLLM、TensorRT-LLM、ONNX Runtime 怎么划界
| 维度 | MLC LLM | vLLM | TensorRT-LLM | ONNX Runtime |
|---|---|---|---|---|
| 主战场 | 端侧/边缘/个人 | 服务端高并发 | 服务端 NVIDIA 极限性能 | 通用跨平台推理 |
| 硬件覆盖 | CUDA/Metal/Vulkan/WebGPU | 以 NVIDIA 为主 | 仅 NVIDIA | CPU/NPU/各 EP |
| 并发调度 | 简单 batch | continuous batching | inflight batching | 基本无 |
| 量化 | 编译期固化 q3/q4 | 运行期多方案 | FP8/INT8 精细控制 | 依赖 EP |
| 切换成本 | 重编译 | 换权重即跑 | 需 build engine | 换模型文件 |
一句话划界:并发和多租户归 vLLM,NVIDIA 单机极限归 TRT-LLM,异构企业接入归 ORT,「模型要跟应用走、跑在没有数据中心的地方」归 MLC。MLC 的独特价值从来不在峰值吞吐,而在部署形态的覆盖度——同一个 7B q4 模型,上午在 Mac 上调试,下午编一份 WebGPU 产物嵌进网页,这是其他栈给不了的。另外注意它和 ONNX Runtime 的图优化 定位重叠但路线不同:ORT 靠各家 Execution Provider 吃现成算子库,MLC 靠自己生成 kernel,对非标硬件(新 NPU、冷门 GPU)反而更容易插进去。
这一篇在知识体系里的位置
本篇是 LLM 推理篇里「部署形态」视角的补位:服务端侧的对应物是 continuous batching 调度器 与 TensorRT-LLM inflight batching;量化上游是 weight-only 量化 GPTQ/AWQ 与 INT8/INT4 校准;显存话题衔接 KV cache 推理显存。选型建议:目标设备没有 CUDA 数据中心卡、或要把模型打进 App/网页,优先评估 MLC;其余情况先 vLLM。
总结
MLC LLM 部署的本质是把 LLM 推理从「运行时加载权重」改成「编译期生成原生库」:HF 权重经 convert_weight 量化、gen_config 定 KV cache 规格、compile 落到 CUDA/Metal/Vulkan/WebGPU 四种后端,设备端只带一个轻量运行时即可跑,从而实现一份模型定义覆盖手机、浏览器与桌面 GPU;代价是显存与上下文上限编译期锁死、batch 调度能力弱、新模型适配滞后,因此它的生态位是端侧与个人本地推理,而不是高并发服务端——那是 vLLM 与 TensorRT-LLM 的地盘。