MIG 与 MPS:一张 GPU 切几个模型用,硬切分和空分复用怎么选
更新时间:2026-10-03。「推理 serving」这条线我们已经聊过单卡内部的榨干手段:Continuous Batching:推理调度器 讲怎么把请求拼满 batch,KV cache 与推理显存 讲显存账怎么算。但线上还有另一类高频问题:一张 A100/H100 上要同时跑三五个中小模型(或同一个模型的多份实例),谁也不想把整卡给一个 QPS 只有个位数的服务。NVIDIA 给了两套官方机制——MIG(Multi-Instance GPU,多实例 GPU)做硬切分,MPS(Multi-Process Service,多进程服务)做空分复用。这篇把两者的隔离机理、利用率表现和混部选型讲清楚。
本文要回答的问题
- MIG 硬切分到底切了哪些资源?为什么说它的隔离是「物理级」的?
- MPS 空分复用怎么工作?它比默认的多进程共享快在哪、危险在哪?
- 多模型混部时,隔离性和利用率为什么是一对矛盾?各自的代价有多大?
- MIG 和 MPS 能不能叠加用?什么负载画像该选哪条路?
一、问题的由来:小模型喂不饱大 GPU
一张 H100 有 132 个 SM(流式多处理器,GPU 的计算单元)和 80GB HBM 显存。一个 7B 模型 INT8 量化后权重约 7GB,单实例 batch 不大时算力占用常常不到 20%。整卡独占意味着 80% 的算力在空转——按小时租卡的钱照付。混部(co-location)就是把多个模型实例摆上同一张卡,把空闲算力卖给第二个、第三个租户。
混部的麻烦在「邻居效应」:两个推理进程共享 SM、L2 cache、HBM 带宽和显存池,一个突发大 batch 会把另一个的 TPOT(每 token 输出延迟)从 30ms 顶到 200ms。SLO(服务等级目标)敏感的在线服务受不了这种抖动。于是问题变成:要利用率,就要共享;要延迟确定性,就要隔离。MIG 和 MPS 恰好站在这个天平的两端。
二、MIG:把 GPU 物理切成七份
MIG 是 Ampere 架构(A100)起引入的硬件级分区能力。开启 MIG 模式后,一张 GPU 可以切成最多 7 个 GPU 实例(GI,GPU Instance),每个实例拿到的是物理划分的资源:
- SM 切片:按 GPC(图形处理簇)粒度分配,如 A100 的 1g.5gb 档约 14 个 SM;
- 显存:固定配额,1g 档 5GB、2g 档 10GB、3g 档 20GB、7g 整卡 80GB;
- L2 cache 与 HBM 带宽:按切片比例硬隔离,访存路径上有硬件仲裁保证;
- 错误隔离:一个实例上的 XID 错误、显存 ECC 故障原则上不拖垮邻居实例。
关键在于「硬」字:隔离边界画在硬件里,不靠软件自觉。实例 A 跑满它那份带宽,也抢不走实例 B 的那一份——延迟方差被压得很小,这正是在线 SLO 服务想要的。代价同样硬:配额是静态的。A 闲得冒烟时,B 也不能借用 A 的 SM;切分档位是离散的几档(A100 上 1g/2g/3g/4g/7g),显存 5GB 一档的粒度对「模型 6GB」这种需求直接浪费 4GB。
上图的要点是分区边界的位置:它在实例和物理 GPU 之间,由硬件执行。所以 MIG 的正确心智模型是「一张卡变成几张小卡」,而不是「几个进程分时共享一张卡」。
三、MPS:多进程空分复用,共享一切
MPS 走的是另一个极端。默认情况下,多个 CUDA 进程共用一张卡时各自持有独立上下文,SM 上是时分切换,上下文切换有开销,而且一个进程 kernel 排队会挡住别人。MPS 引入一个常驻的 MPS server 进程,把所有客户端进程的 CUDA 工作合并到同一个 GPU 上下文里提交,结果是:
- 消除了进程间上下文切换,多个进程的 kernel 可以真正并发占据不同 SM(空分),SM 有空就填;
- 显存仍是各进程独立的虚拟地址空间,但都从同一个物理池分配,总量超了就是 OOM,没有配额保护;
- L2、带宽、SM 全部共享,谁需求猛谁多分——利用率可以顶满,隔离性约等于没有。
MPS 还提供一个折中旋钮:CUDA_MPS_ACTIVE_THREAD_PERCENTAGE 可以给每个客户端限制「最多占百分之多少的 SM 线程」,算是一种软的算力配额。但它是尽力而为的调度提示,不隔离带宽和 cache,挡不住内存密集型邻居把你的延迟打飞。另一个真实风险是故障传染:MIG 出现之前,MPS 客户端一个进程触发 GPU 致命错误,同卡所有客户端跟着掉线(Volta 之后的 MPS 对此有改善,但隔离强度仍远不及 MIG)。
四、正面对比:六个维度摆一桌
| 维度 | MIG 硬切分 | MPS 空分复用 |
|---|---|---|
| 隔离层级 | 硬件物理隔离(SM/显存/带宽/错误) | 逻辑合并上下文,资源全共享 |
| 资源配额 | 静态离散档位,不可借用 | 动态抢占,SM 百分比可软限 |
| 利用率上限 | 受档位浪费拖累,常有 10-30% 碎片 | 可顶满整卡 |
| 延迟确定性 | 高,方差小,SLO 可控 | 低,邻居突发会传染 |
| 显存粒度 | 5GB 起跳(A100),粗 | 按实际分配,细 |
| 运维约束 | 需 MIG 模式开关、重配要空闲窗口 | 起一个 server 进程即可,随时调 |
表里的矛盾一目了然:MIG 用利用率换确定性,MPS 用确定性换利用率。经验数字:同卡混 3 个中等模型,MIG 方案整卡算力利用率常在 50-70%,MPS 能到 85% 以上;但 P99 延迟抖动 MIG 能压在基线的 1.2 倍内,MPS 遇到邻居突发 prefill 可能翻 2-3 倍。这也解释了为什么公有云 GPU 租赁卖的是 MIG 切片——多租户场景「不可信的邻居」是默认假设。
五、混部选型:按负载画像对号入座
把常见负载画像排一排,选型规律其实很直觉:
- 在线服务、SLO 卡死、多租户不可信(典型:对外 API、广告推荐在线推理)——选 MIG。档位按模型显存向上取整,宁可浪费碎片也要保 P99。
- 离线批处理、吞吐优先、延迟无所谓(典型:夜间批量打标、评测集跑分)——选 MPS,甚至不用 MPS、直接多进程共享也行,目标只有一个:把卡跑满。
- 同团队多模型、请求错峰(典型:内部平台白天 NLP 模型忙、夜里视觉模型忙)——MPS 加 SM 百分比软限是甜点:错峰让共享天然安全,软限兜底防止单模型吃光。
- 大模型 + 小挂件混搭(一个 70B 占大半卡,旁边挂几个 embedding、rerank 小模型)——MIG 切一个 4g 档给主模型、两个 1g 档给小模型,小模型之间故障不传染,主模型独享带宽。
还有一条常被忽略的组合技:MIG 与 MPS 可以叠加。先在 MIG 实例内部再开 MPS,让同一切片上的多个进程空分复用——比如 4g 档里跑主推理服务 + 一个监控旁路进程。这样隔离边界对外是硬的,切片内部再榨一次利用率。Kubernetes 生态里,MIG 实例可以直接作为 nvidia.com/mig-2g.10gb 这类资源名被调度,MPS 则需要 sidecar 或 device plugin 方案配合,接入复杂度差一截,也是平台侧选型时要算的成本。
上图把选型压缩成两步判断:先看隔离诉求(邻居可信吗、SLO 硬吗)分流到 MIG 或 MPS,再在选定路线内部调配额或软限。绝大多数混部争议,回到这两个问题就有答案。
这一篇在知识体系里的位置
本篇属「推理 serving」线索的资源切分侧:上游基础是 Continuous Batching:推理调度器(单实例内怎么拼满 batch)与 KV cache 与推理显存(决定 MIG 档位选多大的显存账);同层对照 CUDA Stream 优先级与推理(进程内的软隔离手段,比 MPS 更细但仅限同进程)和 SLO 感知调度与 goodput(SLO 怎么换算成调度策略);下游延伸是集群层面的 分离式 serving 集群——混部思想在集群尺度的展开。
总结
MIG 与 MPS 是 GPU 一卡多用的两端:MIG 把 SM、显存、带宽按离散档位物理硬切,用 10-30% 的配额碎片换硬件级隔离和延迟确定性,适合在线 SLO 与多租户场景;MPS 把多进程合并进同一上下文空分复用,资源全共享、利用率能顶满,适合离线吞吐型负载;工程选型就两问——邻居可信吗、SLO 硬吗——硬则 MIG,软则 MPS(可加 SM 百分比软限),切片内部还想再榨就把 MPS 叠进 MIG 实例里。