PagedAttention:vLLM 用分页 KV cache 把推理吞吐翻几倍
更新时间:2026-09-29。上一篇 推理引擎运行时调度 讲过 continuous batching 为什么能把 GPU 批次槽位随时填满,当时留了一个钩子:这个机制依赖「分页 KV cache 让槽位可以零碎地分配与回收」。这篇就把这个钩子拆开——PagedAttention 是 vLLM 的核心贡献,它把操作系统虚拟内存的思想搬进 LLM 推理,让 KV cache 的显存浪费从 60%~80% 降到 4% 以内,同等硬件下吞吐提升 2~4 倍。显存硬件背景(HBM 容量与带宽为什么这么金贵)可以对照 GPU 显存 HBM 与 GDDR。
本文要回答的问题
- KV cache 在朴素实现里到底浪费在哪里?为什么 60%~80% 的显存是白占的?
- PagedAttention 的块表(block table)长什么样,和操作系统的页表对应关系是什么?
- 注意力 kernel 怎么在「逻辑连续、物理离散」的 KV 上做计算,代价是什么?
- 分页之后,前缀共享、beam search、并行采样这些高级特性为什么变得便宜了?
- PagedAttention 和 continuous batching 怎么配合,最终吞吐数字从哪来?
一、KV cache 的浪费:朴素实现的三笔糊涂账
先回顾 KV cache 是什么。自回归生成时,每步都要对全部历史 token 做注意力,如果每步重算历史的 K、V,计算量随长度平方增长。标准做法是把每层每个历史 token 的 K、V 向量缓存下来——这就是 KV cache。以一个 13B 级模型为例:40 层、隐藏维 5120、FP16,单 token 的 KV 占用约 1.6 MB;一条 2048 token 的请求光 KV cache 就要 3 GB 以上。一张 80 GB 的 A100,扣掉模型权重和激活,能留给 KV cache 的往往只有 30~40 GB——KV cache 是决定「一张卡能同时服务多少请求」的瓶颈资源。
朴素实现(以及 vLLM 出现之前的多数服务框架)按「每个请求预留一块连续显存」来管理,浪费来自三处:
- 按最大长度预留(over-reservation):分配时不知道这条请求最终生成多长,只能按
max_seq_len一次性预留。一条配置了 2048 上限、实际只生成 200 token 就结束的请求,剩下的 90% 空间全程闲置,谁也用不了。 - 内部碎片:就算预留长度估得准,请求结束前的最后一刻,已分配空间里也只有已生成长度是有用的——生成期间平均有一半预留空间是空的。
- 外部碎片:请求来来去去,各按不同大小分配释放,显存像被反复挖洞的奶酪,逐渐出现大量「不够大、拼不上」的空洞。新请求要一块大的连续空间,明明总空闲够,却找不到连续的,只能拒绝。
三笔账加起来,论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》实测朴素系统里只有 20%~38% 的 KV cache 空间在装真实 token——超过六成的显存是纯浪费。这正是 PagedAttention 要解决的问题,注意它优化的是空间利用率,不是注意力算法本身的数学:输出结果与朴素实现逐位一致,只是摆法变了。
浪费之所以致命,是因为它直接折算成钱。服务端推理的单位成本近似等于「卡时 ÷ 每卡并发请求数」,显存利用率从 30% 提到 95%,理论上并发数就翻三倍,每 token 成本除以三。反过来,想用加卡解决并发不足,等于花真金白银买 HBM 来装空气。这也是为什么 KV cache 管理在 LLM 服务里是头等工程问题,而不是可以后补的优化项——它决定了整个服务的成本结构。
上图把朴素分配的显存去向拆成四块。PagedAttention 的目标很朴素:让「真实 token 数据」这一块尽量逼近 100%。
二、块表:把操作系统的分页思想搬进 KV cache
PagedAttention 的核心设计一句话能说完:把 KV cache 切成固定大小的物理块(block),每个请求维护一张「逻辑块 → 物理块」的映射表(block table),逻辑上连续、物理上任意摆放。
和操作系统的类比几乎是一一对应的:
| 概念 | 操作系统虚拟内存 | PagedAttention |
|---|---|---|
| 固定大小的管理单元 | 页(page,如 4 KB) | KV block(如 16 个 token 的 KV) |
| 进程看到的连续空间 | 虚拟地址空间 | 请求的逻辑 token 序列 |
| 映射表 | 页表(page table) | 块表(block table) |
| 物理介质 | DRAM 页帧 | 显存池里的物理 block |
| 按需分配 | page fault 时分配页帧 | 生成写满一块才申请下一块 |
| 共享 | 共享内存 / fork 的 COW | 前缀共享 / 采样的 copy-on-write |
具体数据结构:vLLM 在初始化时预申请整块 KV 显存池,按 block size(默认 16 token)切成若干物理块,用一张空闲块表(free list)管理。每个请求的 block table 就是一个物理块编号数组,第 i 项表示「本请求第 i 个逻辑块存放在物理块几号」。请求生成过程中,只有当前最后一块被写满时才向空闲表要新块——按需分配让「按最大长度预留」这笔浪费直接归零;块大小固定且全部从同一个池子出,外部碎片归零;内部碎片只剩每个请求最后一块没写满的部分,平均浪费半个块,16 token 的块就是平均 8 token,按论文数据整体浪费压到 4% 以内。
上图里请求 A 的三个逻辑块散在物理块 7、2、5 上,请求 B 散在 1、9 上。请求结束时只需把用到的物理块号还回 free list,毫秒级完成回收,下一个请求立刻能用——这就是 continuous batching「每个 step 结束就换人」在显存侧的前提条件。
块大小是个工程权衡:块越小,内部碎片越少,但块表越长、kernel 里间接寻址次数越多;块太大则回到碎片老路。vLLM 默认 16 token,实测在多数负载下是甜点。
还有一个容易忽略的细节:prefill 阶段同样走按需分配。一段 500 token 的 prompt 进来,调度器先算需要 ⌈500/16⌉ = 32 个块(含后续 decode 的起步块),free list 余额够才放行,不够就排队。这把「准入控制」也量化成了简单的整数比较,而不是模糊的经验估计——显存够不够,看一眼空闲块数就知道,调度决策因此又快又准。对比之下,朴素系统里「这条请求到底占多少显存」要等它跑完才知道,准入只能靠保守的超卖上限,又浪费一层。
三、分页注意力 kernel:离散的 KV 怎么做 softmax(QK^T)V
空间布局变了,注意力 kernel 必须跟着改。普通 FlashAttention 假设 K、V 在显存里按序列连续摆放,一次.tile 读一片。PagedAttention 的 kernel 改动是:沿序列维遍历逻辑块,每处理一块先查块表拿到物理块号,再去物理块地址取这 16 个 token 的 K、V,块内的计算与 FlashAttention 完全相同——分块累加分子分母、在线 softmax(online softmax)一路滚动更新。
具体流程:kernel 按 query token 分组(每个请求 decode 时通常只有 1 个新 token,prefill 时是一整段),对一个 query:
- 初始化运行最大值
m = -inf、运行归一化和l = 0、输出累加器acc = 0。 - 对第
i个逻辑块:查块表得物理块号 → 算出物理地址 → 把这块 16 个 K 向量读进 shared memory / 寄存器 → 算q·k得到 16 个分数 → 更新m,按新最大值缩放acc和l,累加exp(score - m)与对应的 V 加权和。 - 所有块遍历完,
acc / l就是注意力输出。
数学上和连续布局一模一样,唯一的额外开销是每 16 个 token 一次块表查找——这是 L2 缓存里的一次小读取,相比每次都要从 HBM 搬 16 个 token 的 K、V(16 × 1.6 MB ÷ 层数分摊后仍是几十 KB 级),占比通常只有个位数百分比。论文实测分页 kernel 的吞吐与假设连续布局的理想 kernel 相比损失很小,而换来的容量收益是数倍——用百分之几的 kernel 开销换几倍的并发请求数,这是这笔交易的本质。
四、分页带来的副产品:前缀共享与 copy-on-write
分页结构一旦就位,好几个原本昂贵的特性突然变便宜了,因为「共享」从「拷贝一份数据」降级为「块表里抄一个块号」。
前缀共享(prefix sharing / automatic prefix caching):系统提示词(system prompt)动辄上千 token,同一服务里成百上千请求共享同一个前缀。分页之后,所有请求的前缀逻辑块可以指向同一组物理块,块上加引用计数;前缀只需 prefill 一次,后续请求直接复用 KV,省显存更省 prefill 算力。vLLM 后来把这条做成 automatic prefix caching(APC),对多轮对话(历史轮次就是最长前缀)收益尤其大。
并行采样与 beam search:n=4 采样或 beam search 下,多个候选序列共享同一段历史。分页后它们的历史块共享物理块,引用计数加一;某个候选要写入的块恰好引用计数大于 1 时,才触发写时复制(copy-on-write)——复制这一块、计数减一、各写各的。原本要存 n 份完整 KV,现在只多存分叉之后的那部分。
这两个特性解释了为什么 PagedAttention 不只是「省显存」:它把 KV cache 从「每个请求的私有连续数组」变成了「可按块共享的全局资源池」,一批高级解码策略的显存代价随之下降一个量级。
五、显存不够时的兜底:交换与重算两种抢占
分页管理还有一个朴素系统很难做到的能力:体面地处理显存耗尽。流量尖峰时,free list 可能见底,此时 vLLM 的调度器会按优先级抢占部分请求,把它们的块让出来。抢占有两条路:
- 交换(swapping):把被抢占请求的 KV 块整体拷到 CPU 内存,块号还回池子;等显存宽裕再拷回来接着 decode。代价是一次 PCIe 往返,秒级以下的停顿,但计算成果全保留。
- 重算(recomputation):直接释放块,恢复时把 prompt 加已生成内容重新跑一遍 prefill。不耗 CPU 内存和拷贝带宽,但 prefill 算力白花一次。
之所以这两条都可行,恰恰因为 KV 是分块的:要换出,按块表逐块搬走即可,不需要一块连续的大缓冲;要恢复,重新逐块申请、物理位置随便放。朴素连续布局下,「把这条请求暂时挪走」意味着在碎片化的显存里再找一块等大的连续空间,常常根本找不到——只能直接拒绝请求。分页把「显存不足」从硬失败降级成了可恢复的性能抖动。
六、与 continuous batching 合流:吞吐数字从哪来
现在把两块拼图合上。Continuous batching 要求调度器以 step 为粒度增删请求;PagedAttention 提供的能力恰好是:
- 毫秒级入住:新请求加入批次时,prefill 产生多少块就现要多少块,不需要为它保留连续空间;
- 毫秒级回收:请求生成 EOS 被移出批次,它的物理块号还回 free list,下一步就被别的请求用上;
- 无整理成本:不存在「碎片太多要搬家压缩」的停机时刻,因为根本没有外部碎片。
调度器因此可以用一个非常直接的策略:每一步检查 free list 余量,能塞下新请求(prefill 所需块数 + decode 每步一块的边际需求)就塞,塞不下就让新请求排队或触发抢占(preemption——把某个低优先级请求的块换出到 CPU 内存或重算,腾位置给更重要的请求)。vLLM 官方在 LLaMA-7B/13B、A100 上的对比数字:相对 HuggingFace TGI 吞吐提升最高约 3.5 倍,相对朴素的 FasterTransformer/Orca 式实现提升一个数量级以上;根源就两条——显存浪费从六成降到 4%,同样显存装下的并发请求数成倍增加;批次始终接近满员,GPU 利用率不再被「陪跑」拖垮。
| 对比维度 | 朴素连续 KV + 静态/动态批 | PagedAttention + continuous batching |
|---|---|---|
| KV 显存有效利用率 | 20%~38% | >96% |
| 新请求入住粒度 | 整批结束 / 凑批发车 | 每个 decode step |
| 请求结束后的空间回收 | 整块释放,可能碎片化 | 块号还 free list,零碎片 |
| 前缀/采样共享 | 全量拷贝 | 块号共享 + COW |
| 批次数衰减 | 短请求结束即空槽 | 随时补员,接近满员 |
| 典型吞吐(13B/A100) | 基线 | 2~4 倍(对 TGI),更高(对朴素实现) |
工程落地时还有几个值得知道的边界。其一,PagedAttention 不省「真实 token」本身占的显存——长上下文模型(128K 级别)的 KV 依然巨大,需要叠加 KV cache 量化(FP8/INT4 存 KV)、GQA/MQA 这类结构性压缩,或把冷块分级卸载到 CPU 内存甚至 NVMe。其二,分页 kernel 的收益依赖批量:单请求、短序列场景下,块表间接寻址的开销占比会升高,优势主要体现在服务端高并发。其三,块表本身占显存,但每条请求只有几百字节的映射数组,相比它管理的 GB 级 KV 可以忽略。这些边界不影响结论:在「一张卡服务尽量多并发请求」这个 LLM 推理的主战场上,分页管理已经成为 vLLM、TensorRT-LLM、SGLang 等主流引擎的共同默认。
这一篇在知识体系里的位置
本篇是「推理服务化」线索里的显存管理一环:上游是 推理引擎运行时调度(图优化、continuous batching 的调度视角)与 GPU 显存 HBM 与 GDDR(为什么 HBM 容量是硬约束);同层可对照 GPU 显存层次与带宽(decode 阶段为什么是带宽密集型)和 INT8/INT4 量化与校准(另一条省显存路线,KV cache 量化可与分页叠加);下游延伸是 prefill/decode 分离部署、KV cache 分级卸载到 CPU/SSD 等更大规模的显存工程。
总结
PagedAttention 把 KV cache 按固定大小的块分页、用块表做逻辑到物理的映射,按需分配消除预留浪费、定长块消除外部碎片,把显存有效利用率从两三成提到 96% 以上,再配合 continuous batching 让每个 step 都能换人与补员——vLLM 数倍的吞吐提升,本质是操作系统虚拟内存思想在 LLM 推理上的一次成功移植。