batching 延迟吞吐曲线:拐点在哪里、roofline 怎么解释、工作点怎么选
更新时间:2026-10-01。在 连续批处理调度器 里我们看到,把多条请求拼成一个 batch 一起跑是 LLM 服务提吞吐的头号手段;但 batch 不是越大越好——batching 延迟吞吐曲线上有一个拐点,越过它,吞吐几乎不涨、延迟却开始失控。这个拐点不是经验玄学,它由硬件的算力与带宽之比精确决定,用 roofline 模型一眼就能看穿。本篇把这条曲线画出来、讲清楚、再给一套按 SLO 选工作点的流程。与之衔接的还有 LLM 服务的 TTFT/TPOT 与 SLO,SLO 是选点的约束边界。
本文要回答的问题
- batch size 增大时,吞吐和延迟各自怎么变?曲线长什么样?
- 为什么曲线会在某个 batch size 处拐弯,拐点的物理成因是什么?
- roofline 模型怎么把「算力天花板」和「带宽天花板」统一成一条线?
- prefill 和 decode 的曲线为什么形状不同?
- 工程上给定 SLO,怎么在这条曲线上选工作点?
一、曲线长什么样:先建立形状直觉
把同一台机器、同一个模型的 decode 阶段跑一组实验:batch size 从 1 开始翻倍,测每条请求的平均 token 间延迟(TPOT)和整机吞吐(tokens/s)。画出来是两条规律相反的曲线:
- 吞吐曲线:batch 小时近似线性爬升——batch 从 1 到 32,吞吐涨接近 32 倍;随后斜率越来越平,到某个 batch size 后几乎贴平一条水平线,再加 batch 只换来百分之几的提升。
- 延迟曲线:batch 小时几乎不动——1 路和 16 路的单请求延迟相差无几;过了拐点后延迟开始近似线性抬头,batch 翻倍、延迟也接近翻倍。
上图把 batching 延迟吞吐曲线分成三段。第一段是「白捡区」:GPU 有大量算力闲置,加请求几乎不增加单请求延迟,吞吐却成倍涨——连续批处理敢把并发开到几十路,靠的就是这一段。第二段是拐点区,也是容量规划唯一真正关心的区域。第三段是「透支区」:算力已经打满,每条新请求都在和别人的请求抢同一批 SM,吞吐见顶而延迟直线恶化。
二、拐点的物理成因:权重读取被摊薄到不再免费
为什么小 batch 时延迟不涨?关键在于 decode 阶段每一步前向的账本。decode 每步只有 batch × 1 个新 token,模型权重却要从 HBM 完整读一遍(7B BF16 约 14 GB)。batch=1 时,这 14 GB 的读取时间是一个固定成本,算力只用来做 1 个 token 的矩阵乘向量——GPU 的乘法阵列绝大部分时间在等数据,这是典型的 memory-bound。
batch 增大后,权重还是只读一遍,但摊到了 B 个 token 头上:每 token 的权重读取成本 ÷ B,而计算量 × B。读取时间不变、计算时间线性涨。只要计算时间还小于读取时间,总时延仍由读取决定——这就是延迟平台的来源。当 B 大到计算时间追上读取时间,总时延开始被计算主导,延迟曲线抬头;同时算力被打满,吞吐贴近峰值贴平——两条曲线在同一个 B 处拐弯,这不是巧合,是同一个临界条件。
| batch 区间 | 瓶颈 | 权重读取 | 计算 | 吞吐 | 单请求延迟 |
|---|---|---|---|---|---|
| 1~32 | 显存带宽 | 固定成本 | 可忽略 | 近似线性涨 | 平台期 |
| 拐点附近 | 两者相当 | 被摊薄 | 追平读取 | 斜率变缓 | 开始抬头 |
| 大 batch | 算力 | 已摊薄到近零 | 主导时延 | 贴平峰值 | 近似线性涨 |
这个「计算追平读取」的临界 batch size,不同硬件、不同模型差很多:H100 跑 7B 模型,拐点常在 128~256 路并发;同模型搬到 L40S(算力弱、带宽相对高)拐点左移;换 70B 模型(权重大、读取久)拐点右移。所以拐点不是查表查出来的,是量出来的——但下一节的 roofline 能告诉你它大致该在哪。
三、roofline 解释:一条线看穿两条天花板
roofline 模型把硬件能力概括成两个数:峰值算力 P(FLOP/s)和峰值带宽 W(byte/s),两者的比值 P/W 叫机器平衡点(ridge point),单位是 FLOP/byte,读作「每读一个字节要配多少次运算才刚好不浪费」。任何一段计算有自己的算术强度 I(FLOP/byte):I 小于平衡点,访存是瓶颈;大于平衡点,算力是瓶颈。
decode 的精妙之处在于:算术强度随 batch size 线性变化。batch=1 的 GEMV 算术强度极低(每个权重字节只配 1~2 次乘加),远远落在带宽区;batch 每翻一倍,算术强度翻一倍,在 roofline 图上向右平移。当 I 跨过机器平衡点,kernel 从 memory-bound 翻转为 compute-bound——这个跨越点,就是上一节延迟抬头、吞吐贴平的拐点。
H100 SXM 的平衡点约为 295 FLOP/byte(989 TFLOPS FP16 对 3.35 TB/s),decode 要跨过去需要相当大的 batch;这也是「H100 上 decode 并发可以开很高」的量化解释。prefill 则完全是另一个故事:prompt 的成百上千个 token 一次性进 GEMM,batch=1 时算术强度就已经很高,天生坐在算力平台上——所以 prefill 的吞吐曲线几乎不随 batch 涨,延迟却随序列长度近似线性涨。把 prefill 和 decode 混在同一个 batch 里调度,两条形状完全不同的曲线互相干扰,这正是 推理运行时调度 里 chunked prefill 要解决的问题,decode 的访存本质也可对照 GPU 显存层级与带宽。
四、工程选点:让 SLO 当裁判,而不是让吞吐当裁判
曲线画清楚了,选点的原则反而朴素:工作点由延迟 SLO 决定,吞吐是结果而不是目标。具体流程四步:
- 定 SLO:从业务侧拿到 TTFT 和 TPOT 上限(口径见 LLM 服务的 TTFT/TPOT 与 SLO),比如 TPOT ≤ 80ms(P99)。
- 压测量拐点:用真实流量分布(prompt/输出长度分布)压测,画出本机本模型的 TPOT-batch 曲线,找到 P99 延迟开始陡升的位置。
- 留水位:工作点取「SLO 允许的最大 batch」再打 7~8 折,留出流量突增和长尾请求的裕量。比如 SLO 允许 batch=96,工作点定在 64~72。
- 配排队兜底:超过工作点的请求不硬塞进 batch,进队列等待——排队的 TTFT 代价通常小于塞爆 batch 后全员 TPOT 恶化的代价,这一点 连续批处理调度器 的准入控制有现成机制。
| 选点策略 | 吞吐 | P99 延迟 | 风险 |
|---|---|---|---|
| 贴着拐点跑 | 最高 | 擦着 SLO | 流量抖动即违约 |
| SLO 上限打 7~8 折 | 峰值 85%~95% | 稳定达标 | 容量略保守 |
| 远超拐点堆 batch | 几乎不涨 | 失控 | 尾延迟雪崩 |
一个常见误区是按「吞吐峰值」定容量:峰值出现在延迟已经失控的区域,拿它当规划依据,等于把全天流量按红线转速开车。正确的口径是反过来的:单卡吞吐 = 工作点 batch × 单 token 速率,全集群容量再按峰谷流量折算——这套折算的完整版在容量规划篇展开,本篇只负责把单卡那条曲线讲透。
这一篇在知识体系里的位置
- 调度机制:连续批处理调度器——batch 怎么拼、怎么插队,本篇回答拼多大;
- SLO 口径:LLM 服务的 TTFT/TPOT 与 SLO——选点的约束从哪来;
- 运行时底座:推理运行时调度 与 PagedAttention 与 vLLM 服务化——显存容量决定 batch 上限的另一根绳子;
- 硬件底座:GPU 显存层级与带宽——roofline 带宽那条线的物理来源。
总结
batching 延迟吞吐曲线的形状由一条物理规律决定:decode 每步权重读取是固定成本,batch 增大把它摊薄,于是吞吐先近似线性涨、延迟趴在平台期;当 batch 大到计算时间追上读取时间——即算术强度跨过 roofline 的机器平衡点——kernel 从 memory-bound 翻为 compute-bound,吞吐贴平、延迟线性恶化,两条曲线在同一处拐弯。工程上不要追吞吐峰值,用 TTFT/TPOT 的 P99 SLO 在曲线上定最大 batch、再打 7~8 折留水位,超出的请求进队列排队——这就是把曲线变成容量规划的全部动作。