KV cache 显存管理:自回归缓存增长、量化驱逐与显存预算的完整账本
更新时间:2026-09-29。在 推理运行时调度:连续批处理与显存复用 里我们看到,LLM 服务的吞吐天花板往往不是算力而是显存;而那篇文章把「显存大头是谁」留给了本篇——答案就是 KV cache。一个 7B 模型的权重只要十几 GB,可一旦上下文拉长、并发一多,KV cache 能吃掉几十甚至上百 GB,直接决定一张卡能装几路请求、能开多长上下文。KV cache 显存管理因此成了推理部署的第一约束:怎么布局、怎么分页、怎么压缩、怎么驱逐,每一步都是真金白银的容量账。量化本身的校准细节见 INT8/INT4 量化与校准,HBM 带宽与容量层级见 GPU 显存:HBM 与 GDDR。
本文要回答的问题
- KV cache 缓存的到底是什么?为什么自回归解码离了它就慢到不可用?
- 显存占用公式怎么算?层数、头数、头维、精度、上下文长度各贡献多少?
- 为什么朴素连续分配会浪费大半显存,PagedAttention 的块式管理怎么把它救回来?
- INT8/INT4 量化、GQA/MQA、滑动窗口驱逐各自能省多少,代价是什么?
- 给定一张卡的显存预算,怎么倒推出能支持的并发数与上下文长度?
一、KV cache 是什么:自回归解码的缓存账本
Transformer 的自回归生成是一个 token 一个 token 往外吐的:每生成一个新 token,注意力层要拿它的查询向量 Q 去和之前所有 token 的键 K、值 V 做点积。如果不缓存,第 t 步就要把前 t−1 个 token 的 K、V 全部重新算一遍,单步计算量随序列长度平方增长;缓存下来之后,每步只需算新 token 自己的 Q/K/V,再用新 Q 去查整张历史 K/V 表,计算量降为线性。这个「用显存换算力」的交易就是 KV cache 存在的全部理由。
从硬件视角看,这笔交易在 decode 阶段尤其划算。decode 时每次前向只有一两个新 token,GEMM 退化成矩阵乘向量,算力利用率本来就低,瓶颈在访存;重算历史 K/V 意味着每步把所有权重再完整过一遍,而读 KV cache 只是读一张增量追加的表。也正因如此,decode 的吞吐几乎完全由 KV cache 的读取带宽和容量决定——这与 GPU 显存层级与带宽 里讲的「decode 是 memory-bound」互为表里。
上图把 KV cache 的数据流画了出来:每步只有一行新的 K/V 被追加进缓存,但注意力要读取整张历史表。这个「写一次、全表读」的不对称,决定了 KV cache 的优化方向——要么让表变小(量化、共享、驱逐),要么让表的管理更省地(分页),而「读得快」则交给 HBM 带宽和 kernel 融合去解决。
二、显存占用公式:先把账算清楚
KV cache 显存管理的第一课是一条公式。对一个 L 层、每层 H 个 KV 头、头维度为 D 的模型,上下文长度 T、batch 为 B、每个元素 b 字节时:
KV cache 字节数 = B × T × L × H × D × 2 × b
其中 2 是 K 和 V 两份,b 在 FP16/BF16 下为 2 字节。每一项都有杠杆可撬,这正是后面所有压缩手段的索引。拿一个 7B 档的模型代入:L=32 层,H=32 个 KV 头(MHA),D=128,BF16。单条 4K 上下文请求占用 1 × 4096 × 32 × 32 × 128 × 2 × 2 ≈ 4.3 GB——一条请求就吃掉 4 GB 多,一张 24 GB 的卡放下权重后只够两三条这样的请求。换 70B 档(L=80、D=128、MHA 下 H=64),同样 4K 上下文单条约 40 GB,一张 H100 80GB 都装不下几条。账算到这里,「为什么显存是第一约束」已经不需要更多论证了。
| 变量 | 典型值 | 杠杆 | 压缩手段 |
|---|---|---|---|
| B 并发数 | 1~256 | 部署侧 | 连续批处理、排队限流 |
| T 上下文长度 | 2K~128K | 线性增长 | 滑动窗口、驱逐、前缀共享 |
| L 层数 | 32~80 | 模型固定 | 跨层共享(YOCO 类,研究向) |
| H KV 头数 | 8~64 | 模型结构 | GQA/MQA,训练时定 |
| D 头维度 | 64~256 | 模型固定 | 基本不可动 |
| b 每元素字节 | 2 → 1 → 0.5 | 精度 | INT8/FP8/INT4 量化 |
表里最重要的一个洞察:H 和 b 是容量上最狠的两个杠杆。把 32 头 MHA 换成 8 组 GQA,显存直接除以 4;再叠 INT8 量化再除以 2——两者相乘就是 8 倍,而代价(精度、实现复杂度)完全可控。这也是为什么近两年发布的主流开源模型几乎清一色 GQA 起步。
还有一个常被部署方忽略的乘数是 B。KV cache 总量随并发线性增长,但并发恰好是吞吐的来源——连续批处理把几十条请求拼在一起跑,权重只读一遍、KV 各读各的,单位 token 的权重读取成本被摊薄几十倍。于是出现一个根本性张力:同样 60 GB 显存,开 100 路 4K 并发,还是开 12 路 32K 长文?前者吞吐高,后者能接长文业务。KV cache 显存管理的工程答案不是二选一,而是按业务的上下文分布画一条「并发 × 长度」的等容量线,在线段上选点,并用驱逐和换出消化偶发的超长请求——这正是第五节和第六节要展开的内容。
再补一个量级直觉:KV cache 的总读写带宽需求同样随这张表增长。decode 阶段每生成一个 token,都要把该请求的全部历史 KV 读一遍,100 路并发、平均每路 4K 历史、每 token 每层 2 KB(INT8 GQA)时,单 token 的全层 KV 读取量是 100 × 4K × 64 KB 量级、以每秒几十 token 的速度滚动——HBM 的几 TB/s 带宽就是被这张表吃掉的。容量决定「装不装得下」,带宽决定「跑多快」,两者共用同一条公式,只是 B 和 T 的角色互换。
三、KV 布局与 PagedAttention:连续分配的浪费怎么救
知道了总量,还要看怎么摆。朴素实现给每条请求按「最大长度」预分配一段连续显存:申请 32K 槽位,实际只用到 3K,剩下 29K 空着。实测这类系统里内部碎片加预留浪费常占掉 60%~80% 的显存——容量公式算出来的账,被布局方式白白蒸发掉大半。
PagedAttention(vLLM 提出)把操作系统的虚拟内存思路搬进 KV cache:显存切成固定大小的物理块(block,比如每块装 16 个 token 的 K/V),每条请求维护一张块表(block table)把逻辑位置映射到物理块,按需分配、用满才要下一块。注意力 kernel 按块表跳着读,逻辑连续、物理离散。
块式管理带来三笔收益。第一,内部碎片从「最多浪费整个最大长度」降到「每条请求最多浪费一块」,总体显存利用率从两三成提到九成以上。第二,块可以共享:同一个 system prompt 的多条请求指向同一批物理块(写时复制),前缀缓存(prefix caching)因此几乎是免费的——多轮对话和历史系统提示不再重复占显存。第三,换出变得可行:放不下的请求可以把块整体 swap 到 CPU 内存或干脆重算(recompute),调度器手里的牌多了。这三点叠起来,就是连续批处理敢把并发开到几十上百路的底气,衔接回 推理运行时调度 里的调度循环。
四、量化压缩:把每个元素从 2 字节压到 0.5 字节
KV cache 量化是容量账上最直接的乘子:FP16 换 INT8,显存减半;换 INT4,再减半。与权重量化不同的是,KV cache 是在推理过程中动态产生的,没有离线校准的机会,必须边算边量化——常见做法是 per-token 或 per-channel 动态求 scale,每个新 token 的 K/V 立即量化写回,注意力计算时再反量化或与 Q 做整数点积。
好消息是 KV cache 对量化比权重更宽容,但有一个著名的坑:K 张量在少数通道上存在极端离群值(outlier),幅值比其他通道大几十倍,per-tensor 量化会被这几个通道毁掉全部精度。工程对策是 per-channel 量化 K、per-token 量化 V,或给 outlier 通道单独保留高精度——这类「离群通道」处理与 INT8/INT4 量化与校准 里讲的权重量化离群值难题同源,只是搬到了运行时。
实际收益与精度损失的配比,业界已经趟出比较稳定的经验:INT8 量化的 KV cache 在绝大多数模型上困惑度损失可以忽略(0.1% 量级),可以放心开;INT4 在 K 上需要更小心,常见做法是 K 保 INT8、V 上 INT4,或者 INT4 配 per-group scale(每 32/64 个元素一组共享 scale)。再往下还有 2bit 甚至 1bit 的研究线,但尚未成为生产默认。乘子账:GQA(÷4) × INT8(÷2) = 8 倍,再激进点 GQA × INT4 = 16 倍——前面 7B 例子单条 4K 上下文从 4.3 GB 可以压到 270 MB 上下,一张卡能装的并发数从两三条变成二三十条。
五、驱逐与滑动窗口:装不下时扔掉谁
量化和共享解决「每个 token 占多少」,驱逐解决「留多少 token」。当显存预算撑不住完整上下文时,只能选择性遗忘。三种主流思路按保守程度排列:
- 滑动窗口注意力(SWA):只保留最近 W 个 token 的 K/V,更早的直接丢弃。实现最简单、显存占用与上下文长度解耦(变成常数 W),Mistral 等模型在训练时就用了窗口注意力,推理天然无损;但对「训练时全注意力、推理时硬砍窗口」的模型,长程依赖会直接断掉。
- Attention Sink + 窗口:研究发现自回归模型会把大量注意力分数投给序列最开头的几个 token(被称为 attention sink),砍掉它们会让窗口方案崩溃。保留开头 4 个 token 加最近 W 个(StreamingLLM 方案),代价几乎为零,却能稳定支持超长生成。
- 重要性驱逐(H2O、SnapKV 类):按历史注意力分数给每个 token 打分,保留分数最高的 Top-K 加最近窗口,其余驱逐。精度保留最好,但需要维护分数统计、缓存布局不规整,kernel 和调度复杂度最高。
工程选型上有个务实的梯度:模型训练时就带 SWA 的,直接享受常数显存;不带的先试 sink+窗口;长上下文质量敏感的业务(代码库问答、文档分析)再上重要性驱逐,并把驱逐比例做成可配置的降级开关——显存吃紧时收紧,宽松时放开。
驱逐策略还要和块式管理对齐才能落地。PagedAttention 以块为分配单位,驱逐自然也以块为单位回收:滑动窗口方案里,滑出窗口的整块直接还给空闲块池,实现最干净;sink+窗口方案要把开头几个块标记为常驻、永不回收;重要性驱逐最麻烦,Top-K 的 token 散落在不同块里,要么按块内平均分做整块驱逐(粗糙但简单),要么做块内压缩搬运(精细但引入碎片和拷贝开销)。这也是为什么生产系统里前两种方案远比第三种普及——不是精度账算不过来,而是显存管理的数据结构账算不过来:一个 O(1) 的块回收,对上一次要改块表、搬数据、还可能触发碎片整理的压缩,调度器每步都要多付的这笔开销,在几十路并发下会被放大成肉眼可见的尾延迟。
六、显存预算实战:从卡的容量倒推部署参数
把前五节串成一张可执行的预算流程。假设一张 80 GB 的卡,模型 7B GQA(L=32、8 KV 头、D=128),BF16 权重约 15 GB,KV cache 用 INT8:
- 权重与运行时固定开销:权重 15 GB + CUDA context、激活、临时缓冲预留约 5 GB,剩 60 GB 给 KV cache;
- 单 token 每层 KV 大小:8 头 × 128 维 × 2(K+V)× 1 字节(INT8)= 2 KB;全 32 层 = 64 KB/token;
- 容量换算:60 GB ÷ 64 KB ≈ 94 万个 token 的总池子;
- 按业务形态切分:平均上下文 8K,则并发 ≈ 117 路;要做 32K 长上下文,并发降到 29 路,或为长文请求单独配驱逐策略。
| 方案组合 | 单 token KV(7B 档) | 60GB 池可装 token 数 | 8K 上下文并发 | 精度风险 |
|---|---|---|---|---|
| MHA + FP16 | 256 KB | 23 万 | ~29 | 无 |
| GQA-8 + FP16 | 64 KB | 94 万 | ~117 | 无 |
| GQA-8 + INT8 | 32 KB | 188 万 | ~235 | 极低 |
| GQA-8 + INT4 | 16 KB | 376 万 | ~470 | 低(K 需谨慎) |
| 上者 + 4K 窗口驱逐 | 16 KB(T≤4K) | 与长度解耦 | ~470 且任意长度 | 中(长程依赖) |
预算过程本身暴露了 KV cache 显存管理的本质:它不是一道「够不够」的判断题,而是一条「每省一字节就能多换一路并发或一段上下文」的兑换曲线。模型结构(GQA)、量化(INT8/INT4)、布局(分页)、驱逐(窗口)四个杠杆相互独立、效果相乘,部署方按业务的上下文分布和精度容忍度在这条曲线上选点。芯片侧的反作用力同样清晰:HBM 容量每翻一代,整条曲线整体右移——这也是为什么推理卡的显存容量比算力涨得更凶,HBM 世代的容量账见 GPU 显存:HBM 与 GDDR。
这一篇在知识体系里的位置
- 部署调度主线:推理运行时调度:连续批处理与显存复用——本篇的 KV cache 账是它调度循环的容量前提;
- 量化手段:INT8/INT4 量化与校准——权重侧的量化方法论,本篇把它搬到运行时 KV 上;
- 显存硬件底座:GPU 显存:HBM 与 GDDR 与 GPU 显存层级与带宽——容量与带宽的物理约束;
- 架构对照:权重驻留与数据复用、AI 加速器架构:脉动阵列、数据流与内存层级——为什么 batch=1 的 decode 让固定数据流阵列失效,缓存驻留反而成了主角。
总结
KV cache 显存管理的核心是一条公式加四个杠杆:占用 = B × T × L × H × D × 2 × b,自回归解码每步只追加一行却要读全表,容量随上下文线性增长,7B 模型一条 4K 请求就要 4 GB 级。PagedAttention 用块表分页消灭预分配碎片并带来前缀共享;GQA/MQA 在模型结构上除以 4~8;INT8/INT4 动态量化再除以 2~4(注意 K 的离群通道);滑动窗口、attention sink 与重要性驱逐在装不下时决定遗忘谁。四个杠杆效果相乘,把显存约束兑换成并发与上下文长度——推理部署的全部预算艺术,就是在这条兑换曲线上按业务选点。