前缀缓存:system prompt 与多轮对话的 KV 块复用、命中判定与失效策略
更新时间:2026-09-30。大模型推理最贵的一步是 prefill——把整段 prompt 逐 token 算一遍注意力,生成 KV。可现实流量里大量 prompt 开头一模一样:同一个 system prompt、同一套 few-shot 示例、多轮对话里上一轮的全部历史。前缀缓存(prefix caching) 要做的就是:这些重复前缀的 KV 只算一次,之后直接复用。它是 KV Cache:推理显存的大头 的下游应用——KV 既然已经分块管理,相同的块为什么不共享?也是 PagedAttention 与 vLLM 推理服务 里 block table 机制的自然延伸:从「同序列内分页」走向「跨序列共享页」。本篇讲清三件事:KV 块怎么按前缀组织才能被找到、命中与未命中各走什么路径、缓存什么时候必须失效。
本文要回答的问题
- 为什么 system prompt 和多轮对话历史是天然的缓存对象,能省多少算力?
- KV 块按什么结构组织,才能快速判断「这段前缀我算过没有」?
- 命中前缀缓存后,prefill 从哪一步开始接着算,省下的是哪部分?
- 缓存块什么时候失效、怎么淘汰,命中率怎么统计和优化?
一、为什么前缀是最值得缓存的东西
回忆 KV Cache:推理显存的大头 里的结论:自回归生成的每一步都要读回之前所有 token 的 KV,所以 KV 必须常驻显存。换个角度看 prefill:一段 prompt 的 KV 完全由「这段 token 序列本身」决定——同样的 token 序列、同样的模型权重,算出来的 KV 逐 bit 相同。这就是缓存可行的数学基础:KV 是前缀 token 序列的纯函数。
现实负载里重复前缀的占比高得惊人。三类典型场景:
| 场景 | 重复前缀 | 占比量级 | 缓存收益 |
|---|---|---|---|
| 聊天机器人 | system prompt(人设、规则、工具定义) | 500-3000 token | 每次请求都命中,prefill 直接砍掉一大截 |
| 多轮对话 | 第 N 轮包含前 N-1 轮全部历史 | 对话越长占比越大 | 每轮只增量计算最新一问 |
| few-shot / RAG 模板 | 固定示例、检索到的公共文档 | 几百到上万 token | 同模板请求共享 |
一个 2000 token 的 system prompt,在 H100 上 prefill 大约要几十毫秒;QPS 上百时,如果每请求都重算,这几十毫秒乘以并发就是实打实的 GPU 时间。命中前缀缓存后这部分归零,首 token 延迟(TTFT)显著下降——对交互式产品,TTFT 往往比吞吐更影响体感。
二、KV 块的组织:前缀树与哈希索引
要复用,先解决「怎么找到」。KV 在 PagedAttention 里已经切成定长 block(常见 16 token 一块),前缀缓存在此之上加一层索引:把每个 block 的「前缀 token 序列」哈希成一个 key,key → 物理 block 的映射存进一张全局表。由于 block 定长,前缀按 block 对齐切分后,命中判定可以逐块进行。
逻辑上这些 key 构成一棵前缀树(prefix tree / radix tree 思想):根是空前缀,每加深一层多一个 block,两个请求共享多长的前缀,就在树上共享多深的路径。
读这张图的关键是「分叉点」:块 A、B 是公共前缀,两个会话的 block table 指向同一份物理 KV(引用计数为 2);从块 C 开始 token 不同,各自分配新块。甲进入第二轮时,第一轮的全部 KV(A、B、C1 加第一轮回答)仍在缓存里,第二轮只需增量计算新追加的部分。查询过程就是拿新请求的 token 按 block 切块、逐块算哈希、在索引表里找最长连续命中——命中长度必须是从第一个块开始的连续前缀,中间断一块,后面的块即使碰巧相同也不能用,因为 KV 依赖完整左上下文。
三、命中之后:省掉的是哪段 prefill
命中长度 L 个块(即 16L 个 token)后,推理引擎的处理路径是:
| 步骤 | 未命中(全量 prefill) | 命中前缀缓存 |
|---|---|---|
| 公共前缀部分 | 逐层算注意力,写 KV | 跳过,block table 直接引用已有块 |
| 剩余新 token | 从第 0 层开始算 | 从第 0 层开始算,但注意力里的 K/V 拼接上缓存块 |
| 显存分配 | 全部新分配 | 只给新增 token 分配新块 |
省下的正是公共前缀那几十到几千 token 的全层前向计算——这是 prefill 里占比最大的部分。要注意一个边界:命中率按块粒度取整,前缀末尾不满 16 token 的零头不能命中,所以把 system prompt 长度凑成 block 大小的整数倍,是个几乎零成本的小优化。
还有一个工程细节:被共享的块是只读的。decode 阶段新 token 追加 KV 时,如果目标块引用计数大于 1,必须先 copy-on-write 复制一份再写,否则会污染其他会话的上下文。这套引用计数加写时复制,和操作系统的共享内存页是同一种思路。
四、失效与淘汰:缓存不是免费的
前缀缓存吃显存,而显存是推理服务最紧的资源(与 连续批处理调度器 抢同一个池子)。什么时候块该走?
| 策略 | 触发条件 | 适用点 |
|---|---|---|
| 引用计数归零 | 最后一个引用它的请求结束 | 块进入「可淘汰」候选,但不立刻释放 |
| LRU 淘汰 | 显存紧张,新请求需要块 | 优先保留热的 system prompt 块 |
| 显式失效 | 模型权重更新、system prompt 改版 | 全量清空,旧 KV 与新权重不再对应 |
两条红线必须记住。其一,KV 与权重严格绑定——模型热更新、LoRA 切换之后,所有缓存块立刻作废,因为同样的 token 在新权重下算出的 KV 已经不同;工程上的做法是把模型版本号也混进块哈希。其二,命中率要落到监控里:用「命中 token 数 / 总 prompt token 数」作为核心指标,低于预期时先查三件事——前缀是否真的一致(多一个空格、时间戳拼进 system prompt 都会让哈希全变)、block 对齐是否被零头破坏、缓存容量是否太小导致频繁淘汰。线上最常见的命中率杀手,就是有人往 system prompt 里塞了动态内容。另一个隐蔽来源是多语言模板:同一份 prompt 有中英两个版本时,两套前缀各自占用缓存,等于把有效容量砍半,统一语言或显式分桶能立刻把命中捞回来。
五、落地检查清单
接入前缀缓存前后按这几条过一遍:system prompt 是否纯静态、长度是否按 block 对齐;多轮对话的历史拼接方式是否保证前缀逐块一致(不要在中间插时间戳);模型/LoRA 版本号是否进了块 key;引用计数与 copy-on-write 是否有并发保护;命中率、缓存占用率、淘汰次数是否进了监控面板。配合 连续批处理调度器 一起调时,要给缓存预留显存上限,避免缓存挤占 batch 空间反而拉低吞吐。
这一篇在知识体系里的位置
- 上游:KV Cache:推理显存的大头 解释 KV 为什么必须常驻显存、占多少;PagedAttention 与 vLLM 推理服务 提供 block table 分页机制,是前缀缓存跨序列共享的地基。
- 横向:连续批处理调度器 与本篇共享同一块显存池,一个管「时间维度复用 GPU」,一个管「空间维度复用 KV」。
总结
前缀缓存利用「KV 是前缀 token 序列的纯函数」这一事实,把定长 KV block 按前缀哈希组织成树,让相同 system prompt 和多轮对话历史只 prefill 一次、后续请求直接引用共享块——命中长度必须从首块连续、按块对齐,共享块只读加写时复制,模型权重变更即全量失效,配合 LRU 淘汰与命中率监控,它能把重复前缀的 prefill 算力和首 token 延迟一起砍掉,是高并发 LLM 服务里性价比最高的一档优化。