KV block 大小调优:block_size 对内部碎片率与推理吞吐的影响
更新时间:2026-10-07。前面 PagedAttention 与 vLLM 推理显存 讲过 PagedAttention 如何把 KV cache(键值缓存,Transformer 自回归解码时缓存的历史注意力中间结果)切成固定大小的块来管理,KV cache 推理显存 算过 KV cache 占多少显存。本篇聚焦一个具体旋钮:vLLM 的
block_size(每个 KV block 装多少个 token 的 KV)到底调多大,它对碎片率、块表开销和吞吐各有什么影响。KV block 大小调优本身不改模型行为,却直接决定你能塞进多少并发、浪费多少显存。
本文要回答的问题
- PagedAttention 的内部碎片从哪来,和 block_size 是什么数学关系?
- block_size 调大和调小分别伤害谁:显存、调度开销还是 kernel 效率?
- vLLM 默认 16 是怎么来的,什么场景应该改 32 或 8?
- 调 block_size 的标准流程和验收指标是什么?
一、碎片从哪来:每个请求浪费平均半个块
PagedAttention 的设计和操作系统虚拟内存分页同构:显存被预切成 N 个物理块,每个块固定装 block_size 个 token 的 K 和 V;每条请求维护一张块表(block table,记录逻辑块号到物理块号的映射),逻辑上连续的 KV 在物理上可以散放。连续 batching 调度器按块分配、按块回收,显存不再有「外部碎片」(空闲块总能拼出来),但换来的是「内部碎片」——请求的最后一个块几乎总是装不满。
一条长度为 L 的请求需要 ceil(L / block_size) 个块,最后一个块平均只装一半。于是每个请求平均浪费 block_size / 2 个 token 的 KV 空间,这就是内部碎片的全部来源。注意它和请求长度无关——8000 token 的长请求和 50 token 的短请求,平均都浪费半个块。这意味着:并发越高,浪费的绝对量越大;1000 路并发、block_size=16 时,平均有 8000 个 token 的 KV 空间躺在块尾睡觉。
下面这张图把分配过程画清楚:一条 35 token 的请求在 block_size=16 下占 3 个块,前两块装满,最后一块只用 3/16,剩下 13 个槽位就是这条请求的内部碎片。
图里的关键信息是「碎片只出现在最后一个块」。由此可以直接推出碎片率的估算公式:设并发为 C、平均上下文长度为 L,碎片占 KV cache 总分配量的比例约为 C × (block_size / 2) / (C × L) = block_size / (2L)。L=2000、block_size=16 时碎片率约 0.4%,可以忽略;但 L=128(短请求场景)、block_size=32 时碎片率涨到 12.5%,这就很疼了。所以 KV block 大小调优的第一个判据是:你的请求平均长度越短,block_size 越应该往小调。
把公式代入一组真实数字感受一下量级。13B 模型 FP16 下每个 token 的 KV 约 0.4 MB(40 层 × 2 × 5120 维 × 2 字节),假设一块 H100 留出 40 GB 给 KV cache,约可装 10 万 token。跑 200 路并发、平均 L=500 的对话流量:block_size=16 时每路平均浪费 8 token,200 路共浪费 1600 token 约 0.64 GB,占池子 1.6%,无伤大雅;但如果把流量换成平均 L=150 的自动补全业务、并发拉到 400 路,block_size=32 时每路浪费 16 token,400 路共浪费 6400 token 约 2.6 GB,占池子 6.5%——这 2.6 GB 本来能多装 6500 token 的有效 KV,换算过来就是白白少容纳约 40 路并发。同一个参数,在不同流量画像下从「无所谓」变成「白扔一块小卡」,这就是必须拿自己的 L 和 C 代入算、不能照抄别人配置的原因。
还有一个隐蔽点:碎片率公式里用的是「平均上下文长度」,但真实流量里 L 是随 decode 推进不断增长的。一条请求刚进来时 L 只有 prompt 长度,生成到后期 L 可能翻几倍——这意味着每个请求的碎片占比在生命周期早期最高。短输出场景(如分类、打分类 API,输出只有几个 token)整条请求都活在高碎片区间,长输出场景(如代码生成)则很快被稀释。看平均 L 时要把输出长度的分布也算进去,只拿 prompt 长度会系统性高估碎片问题。
二、调大的代价与收益:碎片换效率
把 block_size 从 16 调到 32,会发生什么?四个量同时变化,两个变好两个变坏,这就是调优的全部张力。
| 维度 | block_size 调大(16→32) | 方向 |
|---|---|---|
| 内部碎片 | 平均浪费 8→16 token/请求,碎片率翻倍 | 变坏 |
| 块表大小 | 块数减半,块表显存与查找开销减半 | 变好 |
| 注意力 kernel 效率 | 每次访存连续 32 个 token,带宽利用率更高 | 变好 |
| prefix cache 命中率 | 共享前缀必须按整块对齐,命中粒度变粗 | 变坏 |
块表那一条值得展开。块表本身也占显存:每条请求一个长度上限于 ceil(max_model_len / block_size) 的指针数组。max_model_len=131072 的模型,block_size=16 时块表每行 8192 项;block_size=32 时只有 4096 项。高并发下(比如 500 路)块表本身就能占到几百 MB 的 GPU 显存,调大 block_size 能直接砍掉一半。同时调度器每步要遍历的块数也减半,CPU 侧的调度开销随之下降——vLLM 的调度循环是 Python 写的,块数多一倍,每步的调度耗时真实可见地变长。
kernel 效率这条更微妙。PagedAttention 的 CUDA kernel 按块读取 KV,block_size=16 时一次访存只带 16 个 token 的 K/V,对 H100 这种 HBM 带宽 3.35 TB/s 的卡来说,小粒度访存更容易落在「算力没喂饱」的区间。vLLM 社区在 A100 上的实测显示,decode 阶段 block_size 从 8 提到 16,吞吐可涨 5%~10%;从 16 提到 32 增益收窄到 2%~4%;再大反而因为 kernel 内部对块内维度的并行方式变化而回退。也就是说 kernel 侧的收益曲线在 16~32 之间基本见顶。
prefix cache(前缀缓存,把公共前缀的 KV 块复用给多条请求,比如系统提示词)这条容易被忘掉。vLLM 的前缀复用按整块匹配:两条请求要共享一个块,它们的前缀必须在块边界上对齐。block_size=32 时,两条请求前 20 个 token 相同也无法复用任何块(不满一块),block_size=8 时则能复用 2 块。系统提示词很长、模板化请求很多的 RAG 或 Agent 场景,调大 block_size 会实打实降低 prefix cache 命中率,省下的那点调度开销可能还不够补回重算前缀的算力。
三、调小的代价:CPU 调度与块表膨胀
反方向调小(16→8)的收益就是上一节三项的镜像:碎片率减半、prefix cache 命中粒度变细一倍。这在短请求、高并发、强前缀共享的场景(典型如在线客服机器人,平均上下文几百 token、共享几千 token 的系统提示)里是真金白银。
但代价同样真实。块数翻倍意味着调度器每步要管理的对象翻倍:vLLM V1 里每个调度步要为每条请求分配/校验块,还要维护空闲块队列和 prefix cache 的块级哈希表。块数翻倍后,高并发(300+ 路)下调度器单步 CPU 耗时可能从 1~2 毫秒涨到 3~5 毫秒——decode 阶段 GPU 一步才 20~50 毫秒,CPU 调度占比从 5% 涨到 15% 就意味着 GPU 开始出现等 CPU 的空泡,吞吐直接受损。这就是为什么 vLLM 对 block_size=8 的支持标注了「可能降低吞吐」。
下面这张图画的是同一个 KV cache 池在两种 block_size 下的切块对比:总 token 容量一样,小块切出更多块、碎片更少,但块表和空闲队列都翻倍。
图里 4 倍的块数差是理解这条权衡的关键:block_size 从 8 到 32 是 4 倍跨度,块表、空闲队列、prefix cache 哈希桶全都按块数线性伸缩。经验法则是:调度器 CPU 耗时占单步 GPU 耗时的比例超过 10%,就该往大调;碎片浪费的显存超过 KV cache 池的 5%,就该往小调。两个条件同时触发时,说明并发和请求长度组合太极端,优先考虑 KV cache 量化 或 KV cache offload 扩大池子,而不是继续拧 block_size。
四、默认值 16 的来历与场景速查
vLLM 默认 block_size=16 不是拍脑袋:它是「L 在 1000~8000 的典型对话/RAG 流量下,碎片率 <1%、块数适中、kernel 效率在甜蜜区」三者交集的产物。CUDA 侧 16 还能整除大多数 kernel 的向量宽度(FlashAttention 风格的 kernel 偏好 8/16 的倍数)。所以调优的起点永远是 16,只有数据告诉你不合适才动。
按场景给一张速查表(假设 H100/A100 级硬件,max_model_len 在 32K 以内):
| 场景特征 | 推荐 block_size | 理由 | 验收信号 |
|---|---|---|---|
| 长文档 RAG,平均 L 大于 4K | 16(可试 32) | 碎片率天然低,调大摊薄调度开销 | ITL 不变,吞吐 +2%~4% |
| 短对话,平均 L 小于 512,高并发 | 16→8 | 碎片率从 1.5% 降到 0.8% 以下,prefix cache 更细 | 可承载并发数上升 |
| 长系统提示、模板化请求(Agent) | 16 或 8 | 保住 prefix cache 命中粒度 | prefix cache 命中率不下降 |
| 离线批处理、长输出 | 32 | 并发低碎片总量小,调度开销最小 | 总吞吐最大化 |
| max_model_len 大于 128K | 32 | 块表每行项数砍半,省显存 | 块表显存占用下降 |
表里第二行是「调小」唯一稳赚的场景:短请求时碎片率公式 block_size/(2L) 的分母小,16 都能造成百分之几的浪费,而 1000 路并发下每路省 4 token 就是 4000 token 的 KV 空间,能多塞几条请求。反过来第五行是「调大」最无争议的场景:128K 上下文时块表本身成了显存负担,32 几乎白捡。
下面这张图把「按平均请求长度选值」的决策浓缩成一条线:碎片率随 L 变化的曲线在 block_size=16 和 32 下的交点,就是切换档位的边界。
图里的三段划分不是绝对标准,而是把碎片率公式翻译成了行动边界:L 越小,分母越小,block_size/(2L) 越大,碎片就成了主要矛盾;L 大到一定程度,碎片率压到 1% 以下,主要矛盾就切换成调度开销和块表大小,block_size 往大调才有收益。
五、调优流程与验收
调 block_size 必须重启服务(它是启动参数,不能热改),所以要用离线压测一次扫完,别在线上反复重启。标准流程四步:
第一步,统计线上流量的平均上下文长度 L(输入加已生成输出的均值,注意不是 prompt 长度)和 P95 并发 C。第二步,算碎片账:C × block_size / 2 个 token 乘以单 token KV 字节数(公式见 KV cache 推理显存,7B 模型 FP16 大约 0.1 MB/token 量级),和 vLLM 启动日志给的 KV cache 总容量对比,看碎片占比是否超过 5%。第三步,用回放流量分别跑 block_size=8/16/32 三档,盯三个数:总吞吐、ITL P99、调度器单步耗时(vllm:scheduler_step_time 类指标或日志里的 engine step 耗时)。第四步,选「吞吐不降的前提下碎片更少」的那档;如果 32 吞吐涨了 3% 但 prefix cache 命中率掉了 10 个点,要折算成算力再比——重算前缀的 token 吞吐往往比 decode 吞吐贵得多。
验收口径一句话:同等流量下,KV cache 水位(gpu_cache_usage_perc)在相同并发时更低,或同等水位下可承载并发更高,且吞吐和 ITL 不劣化。水位下降就是碎片减少的直接证据。如果三档跑下来没区别,保持默认 16——没区别的结论本身也是结论,说明你的流量落在甜蜜区,这个旋钮不值得再碰。
上图的四步流程有一个隐含前提:所有对比必须在同一份回放流量上做。block_size 的影响是百分之几量级的精细差异,换一份流量就可能把结论反转——真实流量的长度分布是重尾的,碎片账算的是均值,压测也必须用均值口径一致的流量。
最后一个提醒:block_size 和 chunked prefill 的预算参数 是解耦的,别混着调。前者管显存切块粒度,后者管时间片预算;一个改显存利用率,一个改延迟分位数。同时动两个旋钮,出了问题根本分不清是谁的锅。
补充两个容易踩的坑。其一,改 block_size 会让 prefix cache 的全部历史缓存失效——缓存键是按块内容哈希的,切块粒度一变,旧缓存块全部对不上,重启后的头几分钟 TTFT 会明显偏高,别把这段预热期误当成「调参把性能调差了」。做 A/B 对比时两组都要从冷缓存起跑,或者先灌一遍预热流量再计时。其二,部分模型和特性组合对 block_size 有硬约束:MLA 架构(DeepSeek 系)的 KV 布局特殊,某些 vLLM 版本只支持特定取值;开启投机解码或 Cascade Attention 时也可能收窄可选范围。改动前先查对应版本的启动校验日志,别只看参数被接受就以为生效了——被静默回退到默认值的案例在社区 issue 里屡见不鲜,确认方式是看启动日志里实际打印的 block_size 行和 GPU block 总数是否与你的算式吻合。
这一篇在知识体系里的位置
本篇是 KV cache 管理线的调参实践篇:上游 KV cache 管理全景(技术版图)、PagedAttention 与 vLLM 推理显存(分块机制原理)、KV cache 推理显存(容量计算);同层 KV cache 量化 INT4、KV cache offload CPU 混合;下游调度侧 vLLM V1 调度器设计。
总结
KV block 大小调优的本质是在「内部碎片率 block_size/(2L)」和「块表加调度开销随块数线性增长」之间取平衡:每条请求平均浪费半个块,请求越短碎片越疼该调小,上下文越长块表越臃肿该调大;默认 16 覆盖 512~4K 平均长度的甜蜜区,短请求高并发试 8,128K 超长上下文或离线批处理试 32;调优必须离线用同一份回放流量扫档,以 KV cache 水位、吞吐、ITL P99 和调度耗时四个指标联合验收,碎片占比不到 5% 就别动这个旋钮。