GQA MQA 注意力:KV 头共享机制、KV cache 显存节省倍数与质量延迟权衡
更新时间:2026-09-30。大模型推理做到后面,瓶颈往往不是算力而是显存——自回归解码每步都要把历史所有 token 的 Key/Value 读一遍,这份缓存随序列长度线性膨胀。关于 KV cache 本身的来龙去脉,本站已有 KV cache:推理显存的头号开销 专篇;本篇聚焦一个更工程化的问题:能不能让多个注意力头共用同一份 K/V,直接把缓存砍掉一个数量级? 这就是 GQA(Grouped-Query Attention,分组查询注意力)和 MQA(Multi-Query Attention,多查询注意力)要做的事。Llama 2 70B、Qwen、Mistral 等主流开源模型几乎全部采用了 GQA,理解它已经成为读懂现代模型配置的必修课。
本文要回答的问题
- MHA、GQA、MQA 三种注意力变体在「头」的组织上到底差在哪?
- KV 头共享之后,KV cache 显存节省倍数怎么定量计算?
- 为什么省下的不只是显存,还有解码延迟?瓶颈在哪一段?
- 头共享会不会掉精度?GQA 为什么能在质量和效率之间取得平衡?
- 已经训好的 MHA 模型,能不能直接改造成 GQA?
一、三种变体:头是怎么分组的
先从标准的 MHA(Multi-Head Attention,多头注意力)说起。Transformer 的每一层把隐藏维度切成 H 个查询头(Query head),每个头有自己独立的 Q、K、V 投影——H 个 Q 头配 H 个 K 头和 H 个 V 头,一一对应。Llama 2 7B 就是 32 个 Q 头、32 个 KV 头。
MQA 走到另一个极端:不管有多少个 Q 头,全层只保留 1 个 K 头和 1 个 V 头,所有 Q 头共享同一份 K/V。这个想法 2019 年就由 Fast Transformer Decoding 那篇论文提出,但当时质量损失偏大,没成主流。
GQA 是两者的折中:把 H 个 Q 头分成 G 组,每组共享一对 K/V 头。H=32、G=8 时,每 4 个 Q 头共用一份 K/V,KV 头数从 32 降到 8。MQA 可以看作 GQA 在 G=1 时的特例,MHA 则是 G=H 的特例——GQA 是一条连续的旋钮,G 从 H 拧到 1,显存占用一路下降,表达能力一路打折。
这张图的核心信息是:Q 头数量从来不变,被砍的只有 K/V 头。注意力计算里每个 Q 头依然独立地做自己那份 query 投影,只是它们去查的「键值表」是同一张。也正因如此,共享带来的损失集中在 K/V 的表示多样性上,而 Q 侧的表达力完整保留——这是 GQA 质量损失远小于直觉预期的原因之一。
| 变体 | Q 头数 | KV 头数 | KV cache 相对量 | 代表模型 |
|---|---|---|---|---|
| MHA | H | H | 1×(基线) | GPT-3、Llama 1 |
| GQA | H | G(常见 H/4 ~ H/8) | G/H(省 75%~87.5%) | Llama 2/3 70B、Qwen2、Mistral |
| MQA | H | 1 | 1/H(省 95%+) | Falcon、StarCoder |
二、显存节省的定量推导
KV cache 的字节数公式(推导细节见 KV cache:推理显存的头号开销):
cache_bytes = 2 × L × S × H_kv × d_head × bytes_per_elem × batch其中 2 是 K 和 V 两份,L 是层数,S 是序列长度,H_kv 是 KV 头数,d_head 是每头维度。注意公式里只有 H_kv 一项被 GQA/MQA 动了,其余因子原样保留,所以节省倍数就是一个干净的比值:GQA 节省为 H/G 倍,MQA 节省为 H 倍。
拿 Llama 2 70B 算笔实账:80 层、8 个 KV 头(GQA,Q 头 64)、d_head=128、FP16。单 token 的 KV cache = 2×80×8×128×2 字节 ≈ 328 KB;如果是 MHA(64 个 KV 头),则是 2.6 MB——每个 token 省 8 倍。一条 8K 上下文、batch=32 的服务,MHA 需要约 670 GB KV cache(根本不现实),GQA 压到约 84 GB,刚好能在 8×A100 级别的节点里放下,还留得出权重空间。MQA 再进一步能到约 10 GB,但质量代价开始显著。
还有一个常被忽略的连带收益:KV cache 变小后,同样的显存能塞更大的 batch。解码阶段吞吐近似随 batch 线性增长,直到算力饱和——所以 GQA 的真实收益经常是「显存省 8 倍 + 吞吐翻 2~4 倍」的组合拳。配合 PagedAttention 与 vLLM 高吞吐推理 的块化管理,碎片浪费再砍掉一截,单卡服务能力成倍提升。
三、为什么延迟也跟着降:解码是访存受限的
prefill(首 token 前的并行计算)阶段是算力受限,KV 头共享帮不上太多忙;但自回归解码每步只处理 1 个新 token,矩阵乘退化成一个向量乘一堵巨大的 KV cache 矩阵墙,瓶颈在 HBM 带宽。每步解码必须把全量 KV cache 从显存读进 SM,读取量正比于 H_kv。
所以 KV 头砍到 1/8,单步解码的访存量就近似砍到 1/8(权重读取不变,但长序列下 KV cache 读取占主导),TPOT(每 token 输出延迟)几乎等比下降。这也是为什么 MQA 论文当年的出发点不是省显存,而是加速解码——显存是顺带的奖品。对 TTFT/TPOT 这些服务指标的完整拆解,可对照 LLM Serving 的 TTFT 与 TPOT 指标。
需要注意一个边界:序列很短时,权重读取才是访存大头,KV 共享的延迟收益会被稀释;序列越长、batch 越大,收益越接近理论比值。这也意味着 GQA 的价值在「长上下文 + 高并发」的生产场景里才被完全兑现。
四、质量代价与 uptraining 改造
头共享不是免费的。MQA 把 K/V 表示压到一份,模型对「不同子空间匹配模式」的区分能力下降,在需要细粒度检索的任务(长文问答、代码补全)上掉点明显,早期实验常见 1~2 个点的基准损失。GQA 的论文(GQA: Training Generalized Multi-Query Transformer Models)给出的关键结论是:G=8 左右的 GQA 在多数基准上与 MHA 的差距小于 0.5 个点,而推理速度接近 MQA——这就是它成为工业界默认值的原因。
对已经用 MHA 训好的模型,还有一条低成本路线:uptraining(再训练改造)。把每组内的多个 K/V 头参数做均值池化,初始化成一组共享 K/V 头,再用原训练量的 5% 左右做继续预训练,让模型适应新结构。Llama 2 70B 就是这么从 MHA 检查点改造成的 GQA 模型,比从头训练便宜一个数量级。工程上的两个要点:均值池化优于随机选一个头(保留各头的平均行为);改造后的模型要回归全套基准,重点盯长上下文任务。
这条流程图对应的就是上段说的改造管线:池化定初值、少量续训弥合分布偏移、基准回归把关质量。整个改造的风险集中在最后那个回环——如果 5% 预算内质量回不来,往往说明该模型对 KV 多样性依赖较强,此时更务实的选择是增大 G(比如从 G=4 退到 G=8)而不是硬压。
| 决策维度 | MHA | GQA(G≈H/8) | MQA |
|---|---|---|---|
| KV cache 显存 | 基线 | 省约 87% | 省约 97% |
| 解码 TPOT | 基线 | 接近等比下降 | 最优 |
| 基准质量 | 最优 | 差距 <0.5 点 | 可见掉点 |
| 适用场景 | 小模型/短序列 | 生产默认 | 极端延迟敏感 |
五、与其他省显存手段的组合
GQA/MQA 是「结构性」的省法——改的是模型本身;它和各种「运行时」省法正交叠加:KV cache 量化到 INT8/INT4 再省 2~4 倍;FlashAttention 的显存分块 解决的是注意力计算过程的中间激活,不改 KV cache 总量;Prefix Caching 则在多请求共享前缀时避免重复存储。一套生产推理栈里这几样通常全开,收益是相乘的。选型时的口诀:新模型从头训就用 GQA(G 取 H/4~H/8),存量 MHA 模型走 uptraining,极端场景再叠加 MQA 或 KV 量化。
这一篇在知识体系里的位置
- 上游:KV cache:推理显存的头号开销 给出本篇显存公式的完整推导,是理解节省倍数的底座。
- 横向:FlashAttention:显存分块 tiling 与 Prefix Caching:前缀复用 是另外两条正交的省显存路线,与 GQA 相乘叠加。
- 下游:PagedAttention 与 vLLM 高吞吐推理 讲 KV cache 变小之后的块化管理如何进一步提吞吐;服务指标口径见 LLM Serving 的 TTFT 与 TPOT。
总结
GQA MQA 注意力的本质是只砍 K/V 头、不动 Q 头:MHA 让 H 个 Q 头各配一份 K/V,GQA 让每 H/G 个 Q 头共享一份,MQA 全层只留一份,于是 KV cache 显存和解码访存量分别降到 G/H 和 1/H——Llama 2 70B 级别的模型因此从「放不下的 670 GB」变成「跑得动的 84 GB」,解码 TPOT 近等比下降;GQA 在 G≈H/8 时质量损失不足 0.5 个点,还能用均值池化加 5% 续训从存量 MHA 检查点低成本改造,这就是它取代 MHA/MQA 成为现代开源大模型默认结构的全部原因。