Green Context:CUDA 绿色上下文的 SM 分区与推理资源隔离实战
更新时间:2026-10-04。GPU 上多租户共享算力的老话题,我们在 MIG 与 MPS 的 GPU 分区对比 里讲过两条主流路线:MIG 把卡静态切成硬隔离的小卡,MPS 让多个进程时分复用全部 SM。两条路各有硬伤——MIG 切完不能改、粒度粗,MPS 没有算力配额、一个疯狂邻居能把全卡抢光。CUDA 12.4 起引入的 Green Context(绿色上下文)补上了中间那档:在同一个进程内、按 SM 分组切出带算力配额的上下文,创建销毁都是动态的。本篇讲清它的分区原理、和 MPS 的取舍、以及推理 serving 里怎么用。
本文要回答的问题
- Green Context 到底是什么,它和传统 CUDA context、MPS、MIG 在隔离层级上差在哪?
- SM 分区是怎么做的,为什么说是「算力配额」而不是「算力保证」?
- 推理场景里,什么样的负载组合适合用 Green Context 而不是 MPS?
- 创建和使用的基本流程是什么,有哪些容易踩的坑?
一、定位:进程内的 SM 级资源配额
先把 CUDA 的执行模型摆清楚。传统上一个进程一个 primary context(主上下文),进程里所有 kernel 都提交到这一个上下文,驱动把 work 铺到全卡所有 SM(Streaming Multiprocessor,流式多处理器,GPU 的基本计算单元)上。多进程共享一张卡时,要么靠默认的时分复用(context 切换有开销),要么开 MPS(Multi-Process Service)让多个进程的 kernel 真正并发跑——但 MPS 只是「允许并发」,SM 的分配仍是全局先来先抢,没有配额概念。
Green Context 改的是上下文与 SM 的绑定关系。你可以把一块 GPU 的 SM 资源切成若干组,为每一组创建一个 green context;提交到该 green context 的 kernel 只会被调度到它名下的那组 SM 上。关键特征有三个:进程内(一个进程可以创建多个 green context,不需要开多进程)、动态(运行时创建销毁,不像 MIG 要重启或 drain)、配额语义(分到的 SM 数量是固定的,别人抢不走,但同组内的 kernel 还是自己竞争)。
上图把三种机制的隔离层级放在一起。注意 Green Context 隔离的只有 SM 计算单元:L2 cache、HBM 显存带宽、NVLink 这些仍然是全卡共享的。所以它解决的是「算力争抢」问题,不是「带宽争抢」问题——这一点直接决定了它适合什么样的推理负载。
把视角再往深一层:green context 的配额本质是「调度域收窄」。驱动在给一个 work queue 派发 block 时,候选 SM 集合被限制在该 context 的分组内,group scheduler 看到的可用单元就是那么多。这意味着两件事。其一,分组是物理的、静态绑定的——运行中想改配额只能销毁重建 context,不能滑动调整,所以容量规划要按峰值而不是均值切。其二,小 kernel 在大分组里反而吃亏:一个只占 8 个 SM 的 kernel 提交到 88 个 SM 的分组,剩下 80 个 SM 空转;因此分组大小最好和典型 kernel 的 SM 需求匹配,decode 循环里那些小 GEMM 配 20~30 个 SM 往往就够了,切多了纯属浪费。
二、与 MPS 的硬对比:配额与干扰
MPS 的本质是把多个进程的 context 合并成服务进程里的一个调度域,kernel 可以空间并发,但调度器不保证任何进程能拿到多少 SM。两个后果:其一,延迟敏感型请求碰上吞吐型邻居,P99 会被打穿;其二,故障域合并——MPS 服务进程崩了,挂在上面的所有客户端一起遭殃(老版本如此,新版本做了按客户端的容错隔离,但语义仍比独立进程弱)。
Green Context 的配额是硬的:分给 A 组 64 个 SM,B 组的 kernel 再多再急也摸不到这 64 个。这给推理 serving 提供了一种「进程内 QoS(Quality of Service,服务质量)分级」的工具——不用起多进程、不用 MPS 服务,单进程内就能给高优请求圈一块算力。
| 维度 | MPS | Green Context | MIG |
|---|---|---|---|
| 隔离粒度 | 进程级并发,无配额 | 进程内 SM 组,硬配额 | 整卡静态切片 |
| SM 隔离 | 无(全局争抢) | 有 | 有 |
| 显存与带宽隔离 | 无 | 无 | 有 |
| 创建方式 | 启 MPS 服务 + 多进程 | API 动态创建销毁 | 需管理员切分、改动要重置 |
| 故障域 | 服务进程共享 | 同进程内 | 实例间独立 |
| 适用场景 | 多进程提升小 kernel 利用率 | 单进程多租户算力分级 | 强隔离的多租户卖卡 |
表里最值得盯的一行是「显存与带宽隔离」。Green Context 不隔离带宽,意味着如果两个租户的负载都是 memory-bound(访存受限,比如大 batch decode 阶段的注意力),SM 分区并不能阻止它们在 HBM 上互相拖慢。它最闪光的场景是一方 compute-bound、另一方延迟敏感:比如 prefill(计算密集)和 decode(延迟敏感)混部时,给 decode 圈一小组 SM 保证 TTFT 之外的 TPOT 稳定,剩下的大组 SM 全部喂给 prefill。
三、推理场景的典型用法
结合 LLM serving 的 TTFT 与 TPOT 指标 里的 SLO 框架,Green Context 在推理侧有两个落地姿势。
第一个姿势是 prefill/decode 的算力分级。不走高成本的 PD 分离集群,单卡内也能做弱化版:创建一个占 80% SM 的 green context 跑 prefill batch,一个占 20% 的跑 decode 的 continuous batching 循环。decode 每轮计算量小但对调度抖动敏感,专属 SM 组让它不被 prefill 的大 GEMM 挤下线。这本质上是用软件配额模拟了「小卡跑 decode」的效果,成本是零额外硬件。
第二个姿势是多模型/多租户的权重隔离。配合 多 LoRA serving 场景:基座模型共享,但给付费租户和免费租户各建一个 green context,付费组拿多数 SM。相比 MPS 方案,调度逻辑全在自己进程内,不需要额外的服务进程和 IPC 开销;相比 MIG,租户上下线时配额可以随流量动态调整——晚上流量低谷把两组 SM 合并回去,白天再切开,MIG 做不到这种弹性。
图里那个黄色共享块是这套方案的天花板。实践中如果发现 decode 的 TPOT 还是被 prefill 拖,说明瓶颈已经从 SM 转移到了 HBM 带宽,这时候该上的手段是 KV cache 量化 压缩 decode 的访存量,或者限制 prefill batch 的并发度,而不是继续调 SM 配比。
四、API 流程与实战坑位
使用流程围绕驱动 API 展开(CUDA 12.4+),核心四步:
cuDeviceGetDevResource拿到设备总资源(SM 组描述);cuDevSmResourceSplitByCount按数量把 SM 资源切成 N 份,指定每份的 SM 数和最小对齐粒度;cuCtxCreate_v4或cuGreenCtxCreate用切出来的一份资源创建 green context;cuGreenCtxStreamCreate在该 green context 下建 stream,kernel 正常提交。
用完 cuGreenCtxDestroy 销毁,SM 归还总池。runtime API 侧也有对应封装(cudaGreenCtxCreate),但驱动 API 控制更细。
坑位有四个,都来自真实使用反馈。其一,SM 分组有对齐约束:切分粒度通常按 GPC(Graphics Processing Cluster,SM 的物理分组)边界对齐,在 132 SM 的 H100 上你未必能切出任意「64+68」,实际可用组合要查 CU_DEV_SM_RESOURCE 的返回。其二,CUDA Graph 兼容要验证:green context 下的 graph capture 路径相对新,如果你重度依赖 CUDA Graphs 捕获回放 压 decode 的 kernel launch 开销,升级驱动后先跑回归。其三,NCCL 通信不支持跨 green context 圈地——通信 kernel 走的 SM 不受 green context 约束,张量并行场景别指望它隔离 all-reduce。其四,监控口径要换:nvidia-smi 的 SM 利用率是全卡聚合,green context 级别的利用率要靠 CUPTI 或 DCGM 的细粒度指标,容量巡检脚本得跟着改。
和 CUDA stream 优先级 做个定位区分:stream 优先级是「同一组 SM 内谁先跑」的软提示,高优 stream 只能在 SM 空闲时抢先,抢不走正在跑的 block;Green Context 是「各用各的 SM」的硬划分。两者可以叠加——green context 内部照样可以用优先级 stream 做细粒度排序。
这一篇在知识体系里的位置
本篇属于 GPU serving 资源隔离条线:上游基础是 MIG 与 MPS 的 GPU 分区对比(两种老机制的原理与取舍)和 CUDA stream 优先级(进程内最轻量的调度手段);同层协作的是 LLM serving 的 TTFT 与 TPOT 指标(SLO 是配额的定值依据)、多 LoRA serving(多租户的典型负载形态)、KV cache 量化(带宽维度瓶颈的应对);往上延伸是 PD 分离集群——当单卡内的软隔离兜不住 SLO 时,就该走向跨卡拆分。
落地建议一句话:单进程多租户、负载是「计算密集 + 延迟敏感」混搭、且带宽没打满——满足这三条就值得试 Green Context;三条缺一条,先回头检查 MPS 或 MIG 是不是更对症。
总结
Green Context 是 CUDA 在进程内按 SM 分组做硬算力配额的机制:比 MPS 的「全局争抢」多了隔离、比 MIG 的「静态切卡」多了动态弹性,适合单卡内 prefill/decode 分级或多租户权重隔离这类「算力要分、带宽可共」的推理场景;但它只隔离 SM 不隔离 L2 与 HBM 带宽,memory-bound 负载互相拖慢的问题要靠 KV cache 量化和 batch 限流另解,切分时还要留意 GPC 对齐约束、CUDA Graph 兼容性和监控口径的切换。