KV cache 管理方法学全景:分配、压缩、分层与共享四层版图及按工作负载的选型决策树
更新时间:2026-10-06。这是一篇枢纽文。站内已经有一批 KV cache 的长尾深文——PagedAttention 与 vLLM 服务化、KV cache 推理显存、KV cache 驱逐 H2O 策略、KV cache int4 量化、KV cache CPU offload 混合、前缀缓存与 prompt 复用、SGLang Radix 前缀缓存——每篇都在回答「某一项技术怎么跑好」。这篇换一个更靠近系统架构的视角:KV cache 这块显存,从申请、使用到回收,整套管理动作该怎么分层组织,我的负载该在每一层上选哪一档。KV cache(Key-Value cache,注意力机制缓存的历史键值对)之所以需要一个「管理方法学」,是因为在长上下文时代它已经从「推理的副产品」变成了「显存的第一大户」——70B 模型 batch 内几十条 32k 上下文请求,KV cache 能吃掉数百 GB,远超权重本身。
本文要回答的问题
- KV cache 管理为什么可以拆成「分配、压缩、分层、共享」四个正交的层,各自解决什么矛盾?
- 分配层上,静态预留、PagedAttention 分页、前缀树三种组织方式的开销与收益各是什么?
- 压缩层上,量化、驱逐、稀疏、结构压缩四条路线各自牺牲什么、换回多少显存?
- 分层与共享层上,CPU offload、前缀复用、多 LoRA 共享分别在什么负载下才值回工程票价?
- 面对一个具体业务,一套「先量账、再分层选配」的落地决策树长什么样?
一、为什么 KV cache 需要一套管理方法学
先把账算清楚。一条请求的 KV cache 占用 = 2(K 和 V)× 层数 × KV 头数 × 头维 × 字节数 × token 数。以 Llama-3-70B(GQA,8 个 KV 头,80 层,头维 128,FP16)为例,每个 token 约 160 KB,一条 32k 上下文的请求就是 5 GB 上下。细节推导见 KV cache 推理显存。这个数字意味着三件事:
第一,KV cache 决定了并发上限。显存刨去权重和激活,剩下的全给 KV,能装多少 token 就决定了能同时服务多少请求,吞吐和成本的账全在这。第二,KV cache 的生命周期高度动态。连续批处理下请求随到随走、长度千差万别,显存的申请释放在毫秒级发生,管理方式直接决定碎片率和利用率。第三,KV cache 有巨大的冗余可挖。注意力天然稀疏(大部分 token 的注意力权重接近零)、相邻请求常共享长前缀、数值分布对低精度宽容——这三个性质分别养活了压缩、共享、量化三个技术家族。
所以「管理」不是单一技术,而是一组分层动作。本篇的四层版图:分配层解决「显存怎么切、怎么摆」;压缩层解决「每个 token 占多少、留哪些 token」;分层层解决「放不下的往哪搬」;共享层解决「重复的能不能只存一份」。四层正交,可以独立选型、任意叠加。
在展开之前,先建立一个贯穿全篇的量化直觉:KV cache 管理的所有收益最终都要折算成「同一张卡多服务几条并发请求」。一块 H100 有 80 GB HBM,70B 模型 FP8 权重约占 70 GB,剩下不到 10 GB 给 KV 和运行时——按每 token 160 KB 算,裸容量只够 6 万个 token,也就是两条 32k 请求。int4 量化把每 token 压到 40 KB,同样空间变成四条;再叠上前缀缓存 30% 的去重率,等效五条半。这个「剩余显存 ÷ 每 token 成本 × 去重率」的连乘公式,就是后面每一层收益的统一度量衡,也是和老板讲「为什么要上这项优化」时唯一有说服力的语言。
上图是全文的总地图,读法是从下往上:分配层直接贴着硬件,是所有引擎的必答题;压缩层和分层层是在分配层之上的「扩容器」;共享层在最上面,利用的是请求之间的冗余。一个生产系统通常在每一层都做一个选择,四层选择的乘积决定了最终的显存效率和吞吐上限。
二、分配层:显存怎么切——从静态预留到 PagedAttention 到前缀树
分配层回答的问题是「一个请求的 KV 放在显存的什么位置」。三代方案演进的主线是对抗碎片。
静态预留是最原始的做法:按最大上下文给每条请求预分配连续显存。简单,但浪费惊人——请求实际长度分布极不均匀,按 32k 上限预留、实际平均 2k,显存利用率只有个位数百分比,还有内部碎片(预留了没用上)和外部碎片(剩下了但不连续)双重损失。
PagedAttention 借操作系统虚拟内存的思路破局:把 KV cache 切成固定大小的 block(典型 16 个 token 一块),逻辑上连续的序列映射到物理上离散的 block,用 block table 做页表。请求增长时按需分配 block,结束时整块回收,碎片率压到 4% 以内(只剩最后一个 block 的内部碎片)。它还顺手解锁了 copy-on-write 式的共享——beam search 和多候选采样里,公共前缀的 block 可以被多个序列引用计数共享。完整机制见 PagedAttention 与 vLLM 服务化。今天 vLLM、SGLang、TRT-LLM 全部以此为基础,分配层已经没有「要不要分页」的争论,只有「页大小怎么定」的调参:页越小碎片越少但 block table 越长、内核 Gather 开销越大,16 是主流甜点。
**前缀树(RadixAttention)**是分页之上的再进一步:把 block 组织成一棵按 token 前缀索引的基数树,天然支持跨请求的前缀匹配与共享。它本质上是分配层和共享层的合体,详见第四节和 SGLang Radix 前缀缓存。
把三代放在一起对比,取舍逻辑很直白:离线定长任务用静态预留最省事,因为它根本没有碎片问题;通用在线服务一律分页起步,这是今天的行业共识;只有当流量里存在大量共享前缀(多轮对话占比高、system prompt 长且统一、RAG 模板化)时,前缀树相对纯分页的额外复杂度才值回票价。判断依据就是第一节量账公式里的「去重率」一项——去重率预估低于一成的负载,上前缀树只是把页表换成更贵的数据结构。
上图画出三代分配方案的演进关系。注意一个常被误解的点:PagedAttention 解决的是「摆放」问题,不是「省显存」问题——它不把 KV 变小,只保证你有的显存能被用满。真正的「变小」是压缩层的事。
分配层还有两个工程细节值得知道。其一是block table 自身的开销:页表也要占显存,序列越长页表越大,百万级 token 的超长上下文下页表本身能占到 KV 总量的 1% 到 2%,部分引擎为此引入两级页表。其二是分配与调度的耦合:连续批处理调度器每步都要回答「这批请求下一步各要几个 block,够不够分」,分配器剩余 block 数就是调度器的水位线——水位低于阈值时调度器必须触发抢占或 offload,这就是为什么分配层策略和调度策略从来不能分开设计,交互细节见 连续批处理调度器。
三、压缩层:让每个 token 更小、留得更少
压缩层有四个正交的抓手,可以两两叠加。把它们放进一张表里先睹为快:
| 路线 | 基本思想 | 显存收益 | 精度代价 | 工程成本 | 适用面 |
|---|---|---|---|---|---|
| KV 量化 | FP16 降到 int8/int4 | 2 到 4 倍 | 低(per-channel 校准后) | 低(引擎内置) | 几乎全负载 |
| 驱逐策略 | 丢掉低价值 token 的 KV | 2 到 10 倍 | 中(长程依赖受损) | 中 | 长上下文、可容忍近似 |
| 注意力稀疏 | 滑窗、sink、稀疏模式 | 线性随窗口 | 低到中 | 低(模型侧支持) | 流式、超长序列 |
| 结构压缩 | GQA/MLA/跨层共享 | 4 到 96 倍 | 训练期已摊销 | 零(模型自带) | 选型时决定 |
KV 量化是性价比最高的一档:KV cache 数值分布集中、对低精度宽容,int8 几乎无损,int4 配 per-channel scale 在多数任务上困惑度损失可忽略。它是「先开了再说」的默认项,细节见 KV cache int4 量化。
驱逐策略走了另一条路:不压缩每个 token 的体积,而是直接丢掉一部分 token 的 KV。H2O(Heavy Hitter Oracle)用累计注意力分数识别「重要 token」,只保留它们的 KV 加最近窗口,其余驱逐。收益极大(长上下文下可压到原来的十分之一),但它是近似算法——被丢掉的 token 从此不可见,依赖长程精确检索的任务(大海捞针式问答)会明显掉点。策略细节与精度边界见 KV cache 驱逐 H2O 策略。
注意力稀疏是模型结构层的压缩:滑动窗口注意力只保留最近 W 个 token 的 KV(滑动窗口注意力缓存),attention sink 再补回头部几个 token 稳住分布(流式 LLM 的 attention sink),把 KV 占用从随序列线性增长变成常数。这类方案在训练或微调时就定了型,推理侧只需按模型声明的窗口截断。
结构压缩收益最大但决策点最靠前:GQA 把 KV 头数从几十压到 8(GQA 与 MQA 的 KV 节省),MLA 把 KV 压成低秩隐向量(MLA 多隐注意力 KV),跨层共享让相邻层复用同一份 KV(跨层注意力 KV 共享)。这些在选模型那一刻就确定了,推理引擎能做的就是别浪费——比如 MLA 模型不要再对隐向量做二次压缩。
上图的关键信息是「叠加」:四条路线作用在不同维度(数值精度、token 数量、窗口长度、结构冗余),乘积关系而非互斥。但要注意精度预算也是乘积关系——int4 量化叠上激进驱逐,单看都「几乎无损」,叠起来可能就过了任务能忍的拐点,生产上要对组合后的端到端精度做回归,不能把单路线的论文数字直接相乘。
压缩层内部还有一个选择顺序的讲究:先做结构敏感的负载分级,再定压缩强度。经验做法是把线上请求按「长程依赖强度」分桶——摘要、翻译这类主要看局部上下文的任务对驱逐和滑窗高度耐受;代码库级问答、法律合同比对这类需要精确回指原文的任务则必须全量保留。分桶之后, tolerant 桶可以开激进压缩,敏感桶只走无损量化,同一个集群里两桶用两套 KV 策略,比全集群一刀切能多挤出三到五成容量。分桶判据不需要训练模型,用「问题答案对原文的 n-gram 引用率」这类日志统计就能近似。
四、分层层与共享层:放不下的往外搬,重复的只存一份
压缩到极限还是放不下,或者重复内容太多,就该上四层版图的上半部分了。
分层层的核心技术是 CPU offload:把暂不活跃请求的 KV 从 HBM 搬到主机内存(甚至 NVMe),需要时再搬回来。它把「显存容量」换成了「PCIe 带宽」,本质是一场时空交易——搬一条 5 GB 的 KV 走 PCIe 5.0 x16 要约 80 毫秒,所以只适用于「确定会闲置一段时间」的请求:多轮对话里等待用户输入的会话、被长 prefill 抢占的 decode 请求。swap 时机、预取流水线和带宽核算见 KV cache CPU offload 混合。在 PD 分离架构里,分层还表现为跨节点迁移——prefill 节点算完的 KV 经 RDMA 传给 decode 节点,这是另一种形态的「搬」,见 chunked prefill 与 PD 分离。
共享层利用的是请求间冗余。前缀缓存是最普适的一档:system prompt、多轮对话历史、RAG 的公共文档头,这些前缀的 KV 算一次、全体复用,省的不只是显存还有重复 prefill 的算力,见 前缀缓存与 prompt 复用。多 LoRA 服务是另一档:几十个微调适配器共享同一份基座 KV 基础设施,权重按适配器热插拔,见 多 LoRA 服务适配器。共享层的收益模型高度依赖负载的「重复度」,所以它的标配动作是先埋点统计前缀重合率,再决定缓存容量给多少。

上面这张时序图画出 offload 的生死线:下刷可以慢慢做(请求反正闲着),但回搬必须被调度器提前预见、和当前计算流水重叠,否则用户等到的就是一个 80 毫秒起步的 TTFT 毛刺。这也是为什么 offload 系统普遍用「会话活跃度预测」而不是「LRU 到点才搬」——等 LRU 判定冷了再搬,回来的那次访问就一定挨罚。
共享层还有一个容易被低估的连带收益:它同时省算力。前缀命中时省掉的是整段前缀的 prefill 前向,在 PD 分离架构里这直接减轻 prefill 节点的排队压力,TTFT 和显存一起改善。所以评估前缀缓存的回报率时,账本上有两列——显存去重率和 prefill 算力卸载率,后者在高峰期往往比前者更值钱。反过来,这也解释了为什么前缀缓存的容量规划不能只看命中率:一个命中率 40% 但命中段都很短的缓存,算力收益可能不如命中率 25% 但命中段是几千 token system prompt 的缓存。
五、按工作负载的选型决策树
四层都有了候选,剩下的是按负载组装。三个负载变量决定一切:上下文长度分布(决定分配层碎片压力和压缩层收益)、请求间前缀重合度(决定共享层上限)、会话交互形态(单轮问答还是多轮长会话,决定分层层可行性)。
| 负载画像 | 分配层 | 压缩层 | 分层层 | 共享层 | 说明 |
|---|---|---|---|---|---|
| 短上下文高并发 API(2k 内) | PagedAttention | int8 量化 | 关 | 小容量前缀缓存 | 瓶颈在调度不在显存,别过度设计 |
| 长文档问答(32k 到 128k) | PagedAttention | int4 加滑窗 | 谨慎开 | 文档级前缀缓存 | 驱逐慎用,检索精度敏感 |
| 多轮对话 Agent | 前缀树 | int8 加 H2O 兜底 | 开(会话闲置多) | 会话级前缀复用 | 四层全开的最典型场景 |
| 多租户多 LoRA 平台 | 前缀树 | int8 | 按租户配额 | LoRA 共享加公共前缀 | 显存隔离与公平性是主要矛盾 |
| 离线大批量打分 | 静态或分页 | int8 | 关 | 关 | 延迟不敏感,吞吐优先,关花哨功能 |
这张表的一个潜台词:层的开启顺序应该是分配、量化、共享、驱逐、offload——按「无损优先、有损殿后」排序。量化几乎无损先开满;共享层省的是纯冗余也无损;驱逐有损要按任务精度回归定额度;offload 引入延迟风险,只在显存实在不够时才开。每加一层,都要重测端到端精度和 P99 延迟。
上图是落地决策树的执行顺序。两个执行要点值得强调。其一,「量账」环节的三个数字半小时就能拿到:从网管日志统计请求长度直方图、对 prompt 做 n-gram 前缀重合采样、从会话 ID 算出多轮占比——但多数团队跳过它直接抄别人的配置,结果在错的层上花力气。其二,容量规划要把四层当成一个乘积:可服务 token 数 = 剩余显存 /(每 token 字节 × 量化系数 × 驱逐保留率),再乘上共享层的去重率;任何一层的系数估错了,并发上限就估错了,容量规划的整体口径见 服务容量规划。
六、观测与运维:KV cache 管理的仪表盘
四层全部上线之后,管理动作就转入运维态。KV cache 系统需要持续盯的核心指标有五项,建议直接做成仪表盘:
| 指标 | 健康区间 | 跌破或涨破的含义 | 对应层 |
|---|---|---|---|
| block 利用率 | 85% 到 95% | 过低说明配额虚高,过高说明随时会触发抢占 | 分配层 |
| 前缀缓存命中率 | 按负载基线 | 突然下降通常是流量结构变了或缓存容量被挤 | 共享层 |
| 每 token KV 字节数 | 设计值 | 上涨说明量化配置被回退或模型版本漂移 | 压缩层 |
| offload 交换量与回搬延迟 | 回搬 P99 小于 ITL 预算 | 回搬毛刺直接表现为 TTFT 尖峰 | 分层层 |
| 抢占次数 | 接近 0 | 频繁抢占说明容量规划偏乐观 | 全局 |
这套仪表盘的价值在于指标之间的交叉读法:block 利用率高且命中率低,说明共享层容量被 KV 挤压,该扩缓存或上量化;利用率高且命中率高,说明共享层在干活但物理容量到顶,该开压缩层或加卡。单看任何一项都会误判。
运维态还有两件周期性工作要写进日程。其一是模型发版联动:换权重、换分词器、换引擎版本都会影响 KV 布局和量化误差分布,压缩层的配置必须纳入发版回归清单,不能「配好一次永久生效」。其二是季度级容量复盘:流量结构在变(平均上下文在变长、Agent 类多轮会话占比在涨),当初定下的每层档位会慢性过期——按季度把第五节的量账三步重跑一遍,在漂移酿成容量事故之前纠正回来。KV cache 管理不是一次性的架构设计,是一套需要随负载持续再平衡的运营机制。
最后提醒三个高频踩坑。第一,把驱逐和 RAG 长文档问答混用——答案可能就藏在被驱逐的那一段里,这类负载应该靠前缀缓存和量化省显存,而不是丢 token。第二,offload 与大 batch decode 争 PCIe——KV 下刷和跨卡通信抢同一条总线时,ITL 会出现规律性毛刺,要把 offload 流量限流或错峰。第三,多 LoRA 场景忘记给适配器留显存配额——KV 管理做得再好,几十个 LoRA 权重同时热加载也能把显存打爆,共享层必须配配额管理。连续批处理调度与这些机制的交互,见 连续批处理调度器。
这一篇在知识体系里的位置
本篇是 KV cache 专题的枢纽:向上,它假设你已经理解注意力的 KV 从哪来、显存账怎么算(背景见 KV cache 推理显存);向下,四层的每一项技术都有长尾深文承接实现细节——分配看 PagedAttention 与 vLLM 服务化 和 SGLang Radix 前缀缓存,压缩看 KV cache int4 量化、KV cache 驱逐 H2O 策略 与结构族的 MLA 多隐注意力 KV,分层看 KV cache CPU offload 混合,共享看 前缀缓存与 prompt 复用 和 多 LoRA 服务适配器。读完本篇你应该能回答「我的负载在每一层上该选哪一档」,再带着具体档位去长尾文里抠参数。
总结
KV cache 管理是一套四层方法学:分配层用 PagedAttention 把碎片压到 4% 以内、在线服务再上前缀树;压缩层按「量化几乎无损先开满、滑窗与结构压缩随模型、H2O 驱逐有损殿后」的次序叠加;分层层的 CPU offload 只给确定会闲置的会话用、回搬必须被调度预见;共享层的前缀复用和多 LoRA 共享收益完全取决于负载重复度;选型的正确姿势是先花半小时量出长度分布、前缀重合度、会话形态三个数字,再沿「分配 → 量化 → 共享 → 驱逐 → offload」的无损优先次序逐层开启,每层开启后都做端到端精度与 P99 回归。