流水并行气泡:GPipe/1F1B/交错调度的气泡率公式与微批数量权衡
更新时间:2026-09-30。模型大到单卡装不下时,最直观的切法是按层切——前 8 层放卡 0,接下来 8 层放卡 1,一路排到卡 3,这就是流水并行(pipeline parallelism)。切完立刻冒出一个问题:反向传播要从最后一层倒着算回来,前半程的卡只能干等,这段空转时间就是流水并行气泡。气泡多大、怎么压,直接决定你在 数据中心 AI 加速卡 上花出去的钱有多少变成了有效算力。本篇只讲三件事:气泡率公式怎么推、三种主流调度各付出什么代价、微批数量这个旋钮往哪边拧。
本文要回答的问题
- 流水并行的气泡从哪来,为什么纯串行执行时设备利用率只有 1/p?
- GPipe 的气泡率公式 (p−1)/(m+p−1) 怎么推,m 取多大才够?
- 1F1B 调度为什么能省显存,气泡率却不变?
- 交错(interleaved)调度怎么继续压气泡,代价是什么?
- 微批数量 m 调大调小各自踩什么坑?
一、气泡从哪来:反向传播的依赖链
把模型按层切成 p 段(stage),每段放一张卡。一个微批(micro-batch)要算完,必须先正向穿过卡 0→卡 1→…→卡 p−1,再反向从卡 p−1 算回卡 0。关键在于:同一张卡上,反向依赖正向的结果(要拿正向存下的激活算梯度),所以卡 0 的反向必须等它所有相关正向全部完成、且下游的反向梯度传回来之后才能开始。
如果老老实实一次只跑一个微批,任一时刻只有一张卡在干活,利用率 1/p——p 张卡的钱买一张卡的算力,没人能接受。GPipe(Google 2018 年提出)的思路是:把一个全局批次(global batch)拆成 m 个微批,像流水线一样灌进去。卡 0 算完微批 1 的正向后立刻算微批 2 的正向,同时把微批 1 的中间激活通过 NVLink 与 PCIe 传给卡 1。理想情况下流水线被灌满,每张卡都在算不同微批的不同阶段。
但灌满需要时间。流水线启动时,卡 p−1 要等前面 p−1 张卡依次算完第一个微批才能开工;排空时同理。这一头一尾所有设备干等的时间,就是流水并行气泡。
二、气泡率公式:(p−1)/(m+p−1)
设每个微批在每张卡上的正向耗时为 t_f、反向耗时为 t_b(为简单先假设各 stage 均衡,实际做不到,第五节再谈)。GPipe 的经典调度是「先把 m 个微批的正向全部打完,再统一打 m 个反向」。以单张卡的视角看时间轴:
- 忙的时间:m 个正向 + m 个反向,共 m·(t_f + t_b);
- 等的时间:流水线从启动到这张卡能干上活的「填充」延迟,加上结尾的「排空」延迟,合计 (p−1)·(t_f + t_b)。
于是气泡率(bubble ratio)定义为空闲时间占总时间的比例:
气泡率 = (p − 1) / (m + p − 1)这个公式值得记住,因为它把权衡写得很直白:气泡率只跟微批数 m 和流水级数 p 有关,与模型大小无关。要气泡率低于 10%,需要 m > 9(p−1)。p=8 时 m 要 63 以上;p=4 时 m 要 27 以上。下面是 GPipe 调度的结构示意(p=4、m=4,F 表示正向、B 表示反向,灰色是气泡):
图里每条「等」字越多说明这张卡闲置越久:卡 3 开工最晚(要等 3 级填充),但它一旦开工就连续忙到结束;卡 0 最早忙完正向,却要空等梯度从卡 3 一路传回来。所有卡的空闲格数加起来都是 (p−1) 个时间片,与公式吻合。工程直觉:m 相对 p 越大,填充/排空的固定开销被摊得越薄。
三、1F1B:气泡不变,显存大降
GPipe 的麻烦不在气泡而在显存。它把 m 个微批的正向全部打完才开始反向,意味着每张卡要同时缓存 m 份微批的激活(反向算梯度要用)。m 取 64 时,光激活就能吃掉几十 GB——比模型权重本身还大。
1F1B(one-forward-one-backward,PipeDream/Megatron 采用的调度)改的是节奏:流水线灌满之后,不再攒着正向,而是「打一个正向、立刻打一个反向」交替进行。这样每张卡上「已正向、未反向」的微批数量被钳在一个小常数(约等于该卡的 stage 序号 +1),激活显存从 O(m) 降到 O(p)。
关键事实:1F1B 的气泡率公式和 GPipe 一模一样,仍是 (p−1)/(m+p−1)。它没有消灭气泡,只是把气泡从「挤在中间的一大段」摊成了「散布在时间轴上的小缝」,换来显存数量级的下降。这就是为什么 Megatron-LM 默认用 1F1B:同等气泡率下能开更大的 m 或更大的微批尺寸。
| 调度方式 | 气泡率 | 激活显存(每卡) | 额外开销 | 代表实现 |
|---|---|---|---|---|
| GPipe(全正向再全反向) | (p−1)/(m+p−1) | O(m),m 份激活 | 无 | GPipe |
| 1F1B | (p−1)/(m+p−1) | O(p),约 stage 序号+1 份 | 调度状态机更复杂 | Megatron-LM |
| 交错(interleaved) | (p−1)/(v·m+p−1) | 同 1F1B 量级 | 通信量 ×v | Megatron-LM v2 |
| 零气泡(ZB 类) | 趋近 0(理论) | 略增 | 反向拆两段、调度最复杂 | Zero Bubble / Chimera |
四、交错调度:把 stage 再切细
交错(interleaved,也叫 virtual pipeline)的思路是把模型切得更碎:不再一卡一段,而是一卡拿 v 个不连续的小段——比如卡 0 拿第 0 段和第 4 段,卡 1 拿第 1 段和第 5 段。等效于流水级数从 p 变成 v·p,但每段计算量只有 1/v。
代回气泡率公式:填充/排空的级数还是 p−1 的量级,但每个时间片变小了,摊到总时长里气泡率近似变成 (p−1)/(v·m+p−1)——分母多了个 v,气泡被压缩 v 倍。代价有两笔:其一,stage 之间跨卡的点对点通信次数乘以 v,每次传的激活变小但次数变多,在小消息上网络延迟占比上升,对 多 GPU NVLink 互联 拓扑更敏感;其二,每张卡上要维护 v 份模型分片的调度上下文,实现复杂度显著上升。Megatron 的经验值是 v 取 2~4 收益最明显,再往上通信开销开始吃掉收益。
五、微批数量 m:三个方向同时拉扯
m 是唯一可以运行时调的旋钮,三个方向的力量在扯它:
- 往大拧:气泡率下降(公式分母变大);梯度累加更多步,单个微批可以更小,显存压力小。
- 往小拧:微批间激活的点对点通信总量不变,但通信次数随 m 线性增加,每次传输有固定延迟开销,m 太大时这部分开始可见;全局批次固定时,m 越大单微批越小,小到一定程度 GPU 核启动开销、张量核利用率都会掉——数据中心 AI 加速卡对比 里的大算力卡在微批过小时根本喂不饱。
- 收敛约束:m 变了意味着梯度累加步数或全局批次变了,学习率、warmup 都要跟着调,这是算法侧的成本,不是系统侧能独立决定的。
经验法则:先按「气泡率 ≤ 10%」反推 m ≥ 9(p−1),再检查单微批在卡上的算力利用率(micro-batch tokens × 层宽要能打满张量核),最后跟算法同学确认全局批次不超收敛允许的上限。三条有冲突时,通常牺牲一点气泡率保收敛。
六、落地检查清单
排布一条流水并行方案时按顺序核对:p 与 v 的取值是否让各 stage 计算量尽量均衡(不均衡时气泡率公式里的 (p−1) 要换成实际最慢路径,负载倾斜比调度方式更伤);显存预算是否按 1F1B 的 O(p) 激活估算并留足通信缓冲;stage 间链路是走 NVLink 还是跨机 IB/RoCE,跨机时交错调度的通信放大是否扛得住;m 是否同时满足气泡率目标与最小微批算力利用率;是否评估过零气泡类调度(把反向拆成「算输入梯度」和「算权重梯度」两段填空)——2024 年后这类方案在大规模训练里已逐渐实用,能把公式里的 (p−1) 项基本消掉,但调度器复杂度和实现风险都要计入。
这一篇在知识体系里的位置
- 上游:数据中心 AI 加速卡对比 给出单卡算力与显存的家底,是估微批尺寸的前提。
- 横向:多 GPU NVLink 互联 与 NVLink 与 PCIe 互联 决定 stage 间激活传输的带宽与延迟,直接影响交错调度是否划算;GPU 显存层次与带宽 解释激活显存为何比权重更先爆。
- 下游:气泡率与显存的结论会作为输入进入「数据并行 + 张量并行 + 流水并行」的 3D 混合切分决策,以及训练吞吐(TFLOPS 利用率)的端到端估算。
总结
流水并行气泡来自反向传播对正向结果的依赖链:流水线填充与排空期间设备必然空转,GPipe 与 1F1B 的气泡率都是 (p−1)/(m+p−1)——压气泡靠加大微批数 m,省显存靠 1F1B 把激活缓存从 O(m) 降到 O(p),再压就靠交错调度把分母乘以 v(代价是通信量同倍放大),最终 m 的取值要在气泡率、微批算力利用率和收敛允许的全局批次三者之间取平衡。