KV 驱逐策略 H2O:Heavy Hitter 打分保谁的缓存速查
更新时间:2026-10-05。前面 KV cache 推理显存全景 算过长上下文下 KV cache 如何吃爆显存,GQA/MQA 省 KV 和 KV cache INT4 量化 是从「每个 token 存多少」上砍价。KV 驱逐策略 H2O(Heavy Hitter Oracle)换了个方向:不压缩单个条目,而是直接回答「哪些 token 的 KV 可以扔掉」。本篇是一份速查:H2O 怎么打分、保住谁、吞吐与质量各付什么代价、和相邻方案怎么选。
本文要回答的问题
- H2O 用什么分数判定一个 token 是 Heavy Hitter?
- 保留下来的缓存由哪两部分构成,预算怎么分配?
- 相比全量缓存,吞吐和显存能省多少,质量掉多少?
- H2O 和滑窗、StreamingLLM、量化、offload 各是什么关系?
- 工程落地时最容易踩的坑是什么?
一、核心观察:注意力是高度集中的
H2O 的出发点是一个可复现的实验现象:在 decode 阶段,每个 head 的注意力权重分布极其不均——少数 token(通常不到总量的 5%~20%)长期拿走绝大部分注意力质量,论文称它们为 Heavy Hitter(重击者)。剩下的绝大多数 token 只在被生成的当下附近被看一眼,之后几乎再没被 attend 过。
既然 KV cache 存在的唯一理由就是「以后还会被 attend」,那「以后几乎不会被 attend」的 token 占着显存就是纯浪费。H2O 的策略一句话讲清:给每个 token 维护一个累计注意力分数,缓存满了就驱逐分数最低的,只留下高分 Heavy Hitter 加最近一小段局部窗口。
直观例子:一段 8K token 的法律合同问答,问题落在「违约金上限」上。decode 过程中,注意力会反复回到合同里定义违约金的那两三句话,以及开头的角色定义——这些位置的累计分数一路领跑;而中间大段过渡性叙述只在被读到的当下有分数,随后停滞。几十步之后,分数表自动把「该留谁」排好了序,不需要任何人工规则。
这个观察与 滑动窗口注意力缓存 互补:滑窗赌「只有最近的重要」,H2O 赌「最近的重要,加上少数历史上反复被看的重要」——后者恰好补上了滑窗丢掉早期关键信息(比如系统提示、few-shot 示例)的短板。
二、打分与保留集:HH + recent 两段式结构
H2O 的打分器极简:decode 每生成一步,当前 query 对所有历史 key 算出的注意力权重,按 key 位置逐 token 累加到一份分数表里。这个「累计注意力」就是重要性代理——被看得越多,越可能是 Heavy Hitter。驱逐时按分数升序淘汰,直到回到预算。
保留下来的缓存固定由两段构成:
| 区段 | 内容 | 作用 | 典型预算占比 |
|---|---|---|---|
| Heavy Hitter 段 | 累计注意力分数最高的 token | 保住全局关键信息(指令、实体、示例) | 50%~80% |
| recent 局部窗口 | 最近生成的 w 个 token | 保住局部连贯性与语法 | 20%~50% |
读这张图注意两点。第一,打分是在线增量的:不需要重跑整段注意力,每步 decode 顺手把刚算出的权重累加进去,开销可以忽略。第二,驱逐是每步判断、按需触发的:只要缓存没超预算就不动,超了就淘汰到预算线,因此显存占用曲线是一条平顶线,而不是随上下文长度线性爬坡——这正是长上下文场景最想要的性质。
三、效果速查:省多少、掉多少
论文与后续复现给出的量级(OPT、LLaMA 系模型,预算 20%~30%)大致如下,做选型时可以直接当经验数用:
| 指标 | 全量 KV cache | H2O(预算 20%) | 说明 |
|---|---|---|---|
| KV 显存 | 基线 | 约 1/5 | 与预算成线性,预算固定后与长度解耦 |
| decode 吞吐 | 基线 | 最高约 5 倍(长上下文段) | 收益来自 attention 读带宽和 batch 扩容 |
| 困惑度(PG-19 等长文) | 基线 | 基本持平到轻微上升 | 4 倍压缩内通常无损 |
| 下游任务准确率 | 基线 | 掉 0~2 个百分点 | 任务越依赖全文检索掉得越多 |
吞吐收益的来源值得拆开看:一是 attention 本身要读的 KV 变少,decode 是 memory-bound,读得少就快;二是省下的显存可以喂更大的 batch,边际收益往往比第一点还大——这与 PagedAttention 与 vLLM serving 里「省下的碎片换成 batch」的逻辑是同一条。
质量侧的规律也很稳定:预算越紧,掉分越快;任务越像「大海捞针」(needle-in-haystack 全文取针),对驱逐越敏感。纯对话、摘要、续写类负载在 20% 预算下几乎无感;需要精确引用长文档细节的 RAG 负载,预算低于 30% 就可能明显劣化。拿不准时,用自家真实负载跑一次离线评测再定预算,别直接抄论文数字。
四、选型对照:H2O 与相邻方案怎么摆
KV 驱逐策略 H2O 不是孤立选项,它和同族方案是「可叠加的不同轴」:
| 方案 | 砍的是什么 | 与 H2O 关系 |
|---|---|---|
| GQA/MQA | head 维度共享 KV | 正交,可叠用,先 GQA 再驱逐 |
| MLA 多头潜在注意力 | 低秩压缩 KV 表示 | 正交,压缩后仍可驱逐 |
| KV cache INT4 量化 | 单条目精度 | 正交,驱逐后再量化剩余条目 |
| 滑窗注意力 | 只留最近窗口 | 互斥思路,H2O 是其超集(HH 段为空即退化为滑窗) |
| KV offload CPU 混合 | 换到便宜存储 | 互补:不驱逐而是搬走,延迟换显存 |
| prompt 压缩 | 入模型前压短文本 | 前置手段,减少进入 KV 的 token 数 |
一句选型口诀:维度共享(GQA/MLA)和量化是先做的「免费」压缩,显存还不够时,延迟敏感选 H2O 驱逐,质量敏感选 offload 搬走。
五、落地坑位速查
工程上真正翻过车的点集中在这几个:
- 分数统计口径:H2O 按 query 累加,prefill 阶段是否计入、多步 decode 是否归一化,不同实现差异很大,跨框架对比前先对齐口径。
- 逐 head 还是逐层共享:原论文按 head 驱逐最准,但工程实现常简化为同层 head 共享保留集,省管理开销,质量略掉。
- prefill 长尾:驱逐只省 decode,超长 prompt 的 prefill 峰值显存仍在,需要配合分块 prefill。
- 与连续批处理的交互:驱逐后各请求缓存长度不一,page 管理要能容忍变长,好在 PagedAttention 的块表天然支持。
- 可复现性:驱逐集合随 decode 轨迹动态变化,同一条 prompt 两次跑可能保留不同 token,做 A/B 评测时注意固定随机性。
- 分数表本身的存储:每个 token 一个 float 分数,8K 上下文、64 层、每请求一份,分数表只有几百 KB 到几 MB 级,相比省下的 KV 显存(动辄数 GB)可以忽略,但多请求并发时别忘了把它算进调度器的显存账本。
- 温度与驱逐的相互作用:高温采样让注意力分布更平,Heavy Hitter 集中度下降,同样预算下质量损失比低温场景更明显;推理参数变化后要重测预算。
另外补一个调参入口:预算 B 不是拍脑袋的全局常数。实践中常按「上下文越长、预算占比越低」的分档策略——8K 以内给 30%,32K 给 15%,128K 给 5%~10%——让绝对缓存量大致恒定。HH 段与 recent 窗口的比例则按任务调:检索问答类把 HH 段调大,续写对话类把 recent 窗口调大,默认五五开通常不差。
这一篇在知识体系里的位置
KV cache 优化在知识体系里分四轴:结构轴(GQA/MQA、MLA)、精度轴(INT4 量化)、存储轴(offload)、生命周期轴——H2O 是生命周期轴上「基于注意力打分的驱逐」代表,与同属该轴的 滑窗注意力 互补,上层调度接 PagedAttention,显存总账见 KV cache 推理显存全景。
总结
KV 驱逐策略 H2O 用「累计注意力分数」识别少数 Heavy Hitter token,保留「高分段 + 最近窗口」两段式缓存,把 KV 显存钉在固定预算上、长上下文 decode 吞吐最高提升约 5 倍,代价是预算过紧时大海捞针类任务质量下滑——显存不够又延迟敏感时,它是量化与 offload 之外最该先试的一招。