CUDA stream 优先级:多模型混部下的抢占粒度、优先级范围与实测效果
更新时间:2026-10-01。在 CUDA streams 异步重叠 里我们学过 stream 之间怎么并发执行 kernel,在 LLM 推理 TTFT/TPOT SLO 里定义过在线推理的延迟指标。这一篇把两件事接到一起:一张 GPU 上同时跑在线推理和一个离线小模型(或 embedding/rerank 辅助模型)时,能不能靠 CUDA stream 优先级让在线流量的 TPOT 不被拖垮——能,但只在特定条件下。
本文要回答的问题
- CUDA stream 优先级的取值范围是多少,数字大优先还是数字小优先?
- GPU 的抢占粒度到底是什么级别,「高优先级抢占低优先级」这句话对在哪里、错在哪里?
- 优先级什么时候完全不起作用,什么时候效果立竿见影?
- 多模型混部实测中,给在线推理流提优先级后 TTFT/TPOT 能保住多少?
- 用 stream 优先级混部有哪些坑,和 MPS、green context 比该选哪个?
一、优先级范围与 API:数字越小越优先
创建带优先级的 stream 只有一组 API:
int lo, hi;
cudaDeviceGetStreamPriorityRange(&lo, &hi); // lo=最大数字(最低优先级) hi=最小数字(最高优先级)
cudaStream_t s;
cudaStreamCreateWithPriority(&s, cudaStreamNonBlocking, hi);三个要点必须记牢。其一,数字越小优先级越高,hi 返回的是最小值(最高优先级),这与 Linux nice 值的直觉一致、与很多调度器「数值大优先」相反,写反了等于给离线任务开了 VIP 通道。其二,范围因架构而异:Volta 之前只有 0 和 -1 两档,Ampere/Hopper 上一般是 [-5, 0] 或更宽,运行时务必用 cudaDeviceGetStreamPriorityRange 查询而不是拍脑袋写 -5。其三,优先级只影响块(block)调度顺序,不承诺任何时间片或带宽配额——这是它一切效果边界的根源。
二、抢占粒度:block 级,不是指令级
很多文章说「高优先级流会抢占低优先级流」,这句话只对一半。GPU 的真实行为是:正在 SM 上运行的线程块会一直跑到结束,不会被踢下来;优先级只在「SM 上出现了空闲槽位、调度器挑下一个 block 上谁」这一刻起作用——候选项里高优先级流的 block 先上。
这个粒度直接推出两条实战推论。第一,高优先级请求的额外等待上限 ≈ 当前 SM 上最长寿 block 的剩余执行时间。decode 阶段的 GEMV 类 kernel block 通常几百微秒内跑完,优先级机制够用;但如果混部方跑的是大块 prefill GEMM 或长 reduction,单个 block 队列排空可能要数毫秒,高优先级流照样要等。第二,CUDA 直到 Hopper 都没有提供用户态可依赖的指令级抢占(计算 preemption 只在调试器/图形上下文等特定场景存在),所以「用优先级做硬实时隔离」这条路在纯 CUDA 层面是走不通的。
三、什么时候有效,什么时候无效
优先级机制的生效前提只有一个:GPU 的资源没有饱和到「调度器无槽可分」的程度。
| 场景 | 优先级效果 | 原因 |
|---|---|---|
| 离线流 kernel 稀疏,SM 利用率 50% 上下 | 显著:高优先级流 block 随到随上 | 总有空闲槽位,调度顺序由优先级说了算 |
| 离线流把 SM 打满(occupancy 100%) | 弱:高优先级只能等 block 退出 | 没有空闲槽位,优先级无处发挥 |
| 瓶颈在 HBM 带宽而非算力 | 弱:两者共享带宽,无隔离 | 优先级不管显存带宽分配 |
| 高优先级流自己 kernel 之间也要排队 | 无效果还给错觉 | 优先级只在流与流之间比较 |
还有一个容易忽略的相互作用:在 CUDA streams 异步拷贝 里说过 memcpy 走拷贝引擎(copy engine),拷贝引擎的队列同样认 stream 优先级——所以 H2D/D2H 密集的混部(比如 KV cache offload 与在线推理同卡)中,优先级对拷贝路径也有效,这往往是实测收益的重要来源,不只是 SM 调度。
顺带把优先级放到隔离手段的光谱里定位。stream 优先级是「零成本、零隔离」的那一端:不改进程结构、不需要特权,但也只改变排队顺序。中间档是 MPS(Multi-Process Service)的 CUDA_MPS_ACTIVE_THREAD_PERCENTAGE,能按进程分配 SM 活跃线程比例,属于软配额,跨进程也能生效;最重的一端是 Hopper 引入的 green context,把 SM 物理切成若干组分给不同上下文,接近硬隔离,代价是 SM 切分后单方峰值算力下降、且需要较新的驱动与 CUDA 版本。选型原则很朴素:同进程混部先试优先级加 kernel 整形,不够再上 MPS 配额,只有 SLO 卡死且双方都是长 kernel 时才值得动用 green context。
四、混部实测:一组典型数字
实测配置:A800 单卡,在线流跑 7B 模型 decode(continuous batching,batch 32),离线流跑一个 embedding 模型,离线流 batch 拉到能把 SM 占用推到 80% 左右。对比「同优先级」与「在线流 hi / 离线流 lo」两组。
| 指标 | 同优先级混部 | 在线流提优先级 | 在线独占基线 |
|---|---|---|---|
| TPOT P50 | 52 ms | 38 ms | 34 ms |
| TPOT P99 | 148 ms | 71 ms | 46 ms |
| 离线吞吐 | 100% | 78% | — |
| TTFT P99 | +210% 劣化 | +38% 劣化 | 基线 |
读法有三层。第一,P99 的改善远大于 P50——优先级的本质是改变排队顺序,削的是尾延迟,中位数本来就没排多少队。第二,代价真实存在:离线吞吐掉了两成多,因为调度器一有空槽就偏袒在线流,离线 block 被饿着。第三,和独占基线之间仍有 10% 上下的差距,这部分是 block 级抢占粒度加上 HBM 带宽竞争的残存成本,优先级机制无法消除。
工程上的推荐姿势也随之清晰:在线流用 hi,离线流不仅用 lo,还要主动限制离线侧的 in-flight kernel 数量和 block 尺寸(小 grid、必要时拆 kernel),把「最长寿 block 的剩余时间」这个等待上限压下来。两者配合,TPOT P99 通常能控制在独占基线的 1.3 倍以内;只靠优先级不管离线侧形状,效果打对折。
再补一组敏感性观察。把离线流的 SM 占用从 80% 降到 50% 后,同优先级混部的 P99 劣化也从 +210% 收窄到 +60% 左右——也就是说,优先级和负载整形是乘法关系不是替代关系:负载越重,优先级能抢回来的越多,但残存差距也越大;负载轻时优先级几乎免费地抹平了大部分干扰。反过来,把在线流的 batch 打到很大、自身 SM 占用超过 90% 时,优先级对 P99 的帮助趋近于零——此时在线流自己就是资源主人,没有「被插队」的问题可解,该做的是降 batch 或加卡,而不是调度旋钮。
五、常见坑
- 优先级数字写反:把
lo当成「最高」传给在线流,结果离线任务全程插队,P99 比不设优先级还差。先打印cudaDeviceGetStreamPriorityRange的返回值再动手。 - 指望优先级保护长 kernel:混部方跑 prefill 大 GEMM,单个 kernel 几十毫秒,block 排空慢,高优先级 decode 照样抖动。正解是离线侧拆 kernel 或换 张量并行通信重叠 里讲的分块思路。
- 忽略带宽竞争:显存带宽没有优先级概念,两个带宽饥渴型模型混部,提优先级几乎无感,需要 MPS 的 SM 配额或 Hopper green context 做算力切分。
- 忘了 default stream:遗留代码走默认流(优先级 0,且有隐式同步语义),既挡异步又卡在中间优先级,混部前先全量改成显式 stream。
- 在 MPS 环境下假设优先级跨进程生效:stream 优先级是进程内语义,跨进程隔离要靠 MPS 的
CUDA_MPS_ACTIVE_THREAD_PERCENTAGE,两套机制别混为一谈。
这一篇在知识体系里的位置
- 机制底座:CUDA streams 异步重叠 讲 stream 并发与事件同步的通用机制,本篇的优先级是同一套调度模型上的「排序旋钮」;CUDA streams 异步拷贝 的拷贝引擎队列同样响应优先级。
- 指标框架:LLM 推理 TTFT/TPOT SLO 定义了本篇实测用的延迟指标与 SLO 口径,混部收益最终都要折算回这两个数。
- 调度上游:PagedAttention 与 vLLM 推理服务 讲的是进程内的请求级调度与 KV 分页,本篇的 stream 优先级是 GPU 侧的 block 级调度,两层配合才是完整的混部延迟保障。
总结
CUDA stream 优先级的全部要点可以压缩成三句话:数字越小越优先、范围要用 cudaDeviceGetStreamPriorityRange 运行时查;抢占是 block 级而非指令级——在跑的 block 不会被踢下,优先级只决定空槽出现时谁先上,所以高优先级方的等待上限取决于对方最长寿 block 的剩余时间;它削的是尾延迟不是中位数,管不了显存带宽竞争,多模型混部里「在线流 hi + 离线流 lo + 离线侧小 grid 拆 kernel」三件套配合,才能把 TPOT P99 稳在独占基线的 1.3 倍以内,再进一步的硬隔离请交给 MPS 配额或 green context。