GEMM split-K 调度:split-K 与 stream-K 怎么救回小矩阵的尾波
更新时间:2026-09-29。矩阵乘法 tiling 基础 讲了标准做法:把 C = A×B 的输出切成 tile,每个 thread block 负责一块,沿 K 维循环累加。这套方法在大矩阵上接近 roofline 上限,但换个场景——比如 M=N=512、K=4096 的推理层——同样的 kernel 可能只跑到峰值的百分之三四十。问题不在 tile 内部,而在 tile 数量本身:分出来的块不够铺满全机,还甩出一条长长的尾波。本篇把 GEMM split-K 调度讲透:尾波从哪来、split-K 沿 K 维再切一刀的代价、stream-K 怎么把「按输出分活」改成「按工作量分活」。tensor core 一侧的背景见 Tensor Core 矩阵加速,算力上限的判断框架见 GPU Roofline 模型。
本文要回答的问题
- 小矩阵 GEMM 的尾波效应(tail wave)是什么?为什么 tile 数量稍少于 SM 的整数倍就会浪费近一半时间?
- split-K 沿 K 维切分后,多个 block 的部分和怎么合并?workspace 和 atomic 两种规约路径差在哪?
- stream-K 为什么说「不按输出 tile 分活」?它相比 split-K 省掉了什么、又多付出了什么?
- 面对一个具体的 M、N、K 和一张具体的卡,怎么量化地判断该用普通 tiling、split-K 还是 stream-K?
一、尾波效应:tile 数与 SM 数的对不齐
先把问题量化。一块有 108 个 SM 的卡,GEMM 用 128×128 的输出 tile,那么一轮能同时跑的 block 上限大致是 108 个(假设每 SM 驻留一个 block)。如果 M=N=512,输出只有 4×4=16 个 tile——16 个 block 撒在 108 个 SM 上,92 个 SM 全程空转,利用率不到 15%。这就是小矩阵 GEMM 的第一层困境:并行度根本不够。
第二层困境更隐蔽。即使 tile 数够多,只要它不是「每轮可跑 block 数」的整数倍,最后一轮就只剩零头。比如 220 个 tile、每轮 108 个:前两轮满载,第三轮只剩 4 个 block 在跑,其余 104 个 SM 只能干等这 4 个跑完——因为 GEMM 是整个 kernel 结束才算完,先闲下来的 SM 不能去帮别人。这段只有零星 block 在跑的时间就是尾波。上例中尾波约占全程三分之一,而这正是 GPU 调度与抢占 里说过的「block 一旦落地不迁移」的直接后果:调度器没有任何机制把剩下 SM 的算力借给尾部。
注意尾波和 K 维长度纠缠在一起:K 越大,每个 block 的串行累加链越长,尾波期间少数 block 拖的时间就越久。而现代 Transformer 推理里恰恰是「小 M、大 K」的形状居多(decode 阶段 batch 很小,隐藏维几千),尾波因此成了推理 GEMM 的头号损耗,而不是理论峰值不够。
上图是三波调度的骨架:前两波 108 个 tile 满载,第三波只剩 4 个,尾波时长等于一个 block 沿 K 维跑完的完整时间。要消除它,只有两条路——要么把尾波里的长活切碎分出去(split-K),要么一开始就不按 tile 整分(stream-K)。
二、split-K:沿 K 维切一刀,用规约换并行
split-K 的思路直白:M×N 方向块不够,就把 K 维也切了。原来一个 block 沿 K 维循环 4096 次,现在切成 4 段,4 个 block 各算 1024 次的部分和,最后把 4 份加起来。上例 16 个 tile 立刻变成 64 个 block,SM 利用率从 15% 抬到 59%;切 8 段就是 128 个 block,正好铺满还多一波。
代价全在「最后加起来」这一步。两条主流路径:
- 独立 workspace 加二次 kernel:每个分片把部分和写进全局内存的一块工作区,再起一个轻量规约 kernel 把各分片相加写回 C。语义干净、结果确定性最好,但多了一次 kernel 启动,小矩阵上启动开销本身就显眼;A100 上一代 kernel 空跑也要几微秒。
- 原子加(atomicAdd)或 semaphore 串行合并:各分片算完直接往 C 上做全局原子加,或最后一个完成的分片负责合并。省掉第二次启动,但浮点原子加的顺序不固定,结果有比特级波动;而且大量分片抢同一批 C 元素时原子操作会在 L2 里排队。
还有一笔带宽账:split-K 把 C 的写流量放大了 split 倍(4 段就写 4 份部分和,每份都是 FP32)。对小矩阵这通常无所谓——C 本来就小,反而换到的 SM 占用率值钱;但 split 一切到十几段,规约流量和同步开销会重新吃掉收益,所以实践中 split 因子一般取 2 到 8,按「切完后的 block 数略大于 SM 数」来定。CUTLASS 里 split-K 是一个编译期可配的调度模式,cuBLAS 启发式则会在小 M×N、大 K 时自动选带 split-K 的 kernel——这也是 cuBLAS/cuDNN 库 里同一个 GEMM 调用背后会选不同实现的原因之一。
三、stream-K:不按输出分活,按总工作量均摊
split-K 仍有一个不舒服的地方:分片是 K 维的粗切,切几段是个离散选择,切完 block 数未必正好对齐 SM 数的整数倍,尾波只是变短、没有消失。stream-K(CUTLASS 3 引入的调度方案)换了个思路:不再以「一个输出 tile 归一个 block」为单位派活,而是把全 GEMM 的 K 维迭代总数除以 SM 数,每个 SM 领到几乎相等的一整段连续工作。这段工作可能跨越多个输出 tile——某个 SM 负责 tile 5 的后半段、tile 6 的全部、tile 7 的开头。
均摊之后,每个 SM 的工作量差不超过一个 tile 的迭代量,尾波从「一个完整 tile 的 K 维时长」压缩到「几次迭代」,基本消失。代价集中在跨 tile 的交界处:一个 tile 的部分和被两个 SM 各算了一半,仍要合并。stream-K 用一套确定性规约——先算完自己那段的 SM 把部分和写进 workspace 并置标志,持有该 tile「所有权」的 SM 等到所有贡献者交卷后再加总写回 C。相比 split-K 的 4 到 8 倍部分和写流量,stream-K 只有交界 tile 需要规约,写放大通常在一倍多一点;相比 atomicAdd,固定责任人的合并顺序让结果可复现。
工程上的取舍可以摆成一张表:
| 方案 | 尾波 | 额外写流量 | 结果确定性 | 适用形状 |
|---|---|---|---|---|
| 普通 tiling | 可能近一整波 | 无 | 确定 | tile 数 ≫ SM 数 |
| split-K | 缩短到 1/split | split 倍部分和 | atomic 路径不确定 | 小 M×N、大 K |
| stream-K | 基本消除 | 约一倍多一点 | 确定(固定合并序) | tile 数接近或少于 SM 数 |
选型经验法则一句话:tile 数远大于 SM 数时什么都不用做;tile 数只有 SM 数的一两倍且 K 很长,用 split-K 把并行度垫够;tile 数与 SM 数同量级、或想要稳定的最坏延迟(推理服务在意 P99),直接上 stream-K。
四、落地判断:三个数定方案
拿到一个 GEMM 调用,先算三个数:输出 tile 数 T = ceil(M/128)×ceil(N/128)(tile 尺寸按你用的 kernel 调整)、每波可驻留 block 数 W(约等于 SM 数乘每 SM 驻留 block 数,受 occupancy 与寄存器压力 约束)、波数 T/W 的余数。T 大于 4 到 5 倍 W 时,尾波占比小于一个波长的四分之一,普通 tiling 即可,别引入规约复杂度。T 小于 W 且 K 大于 2048,split-K 因子取 ceil(W/T) 附近,优先 workspace 路径保住确定性。T 在 0.5 倍到 2 倍 W 之间、或业务对尾延迟敏感,stream-K 是最稳的默认——CUTLASS 里它只是调度策略的一个模板参数,不需要手写合并逻辑。最后补一条容易被忽视的:换方案后一定要实测,占用率、L2 命中率、规约流量三者的平衡点随卡和精度(FP16 累加还是 FP32 累加)都会移动,纸面估算只负责把搜索范围缩到两三种。
这一篇在知识体系里的位置
本篇属于 chip-design 的 intermediate 层,向上承接 矩阵乘法 tiling 基础 的 tile 划分框架,向深通向 Tensor Core 矩阵加速(tile 内指令级细节)与 GPU Roofline 模型(判断算力瓶颈还是调度瓶颈)。继续往系统侧走,多卡之间怎么切矩阵见 多 GPU 域分解,算子融合对 GEMM 边界的影响见 算子融合编译器。
总结
GEMM split-K 调度的本质是解决「输出 tile 太少、K 维太长」时的尾波:split-K 沿 K 维切分用规约流量换并行度,stream-K 干脆按总工作量均摊到每个 SM 让尾波消失,选型只看三个数——tile 数、每波可跑 block 数、K 的长度。