MLA 注意力:低秩压缩 KV cache 的原理与推理实现要点
更新时间:2026-10-02。前几篇已经把 KV cache 这条线铺开了:KV cache 与推理显存 讲了为什么 decode 阶段的显存大头是历史 token 的 K、V;PagedAttention:vLLM 用分页 KV cache 把推理吞吐翻几倍 讲了怎么把缓存「摆」得不浪费;GQA/MQA 的 KV 压缩账 讲了靠减少 KV 头数来压缩缓存的第一代方案。本篇讲第二代方案——MLA 注意力(Multi-head Latent Attention,多头潜注意力),DeepSeek-V2 提出、V3 沿用的核心结构:不再砍头数,而是把所有头的 K、V 一起压进一个小维度潜向量,缓存量相对标准 MHA 能降一个数量级,效果还常常反超。
本文要回答的问题
- MHA、GQA、MQA 的压缩路线走到了什么尽头,MLA 换了什么思路?
- MLA 的低秩联合压缩具体压的是什么,潜向量维度怎么选?
- RoPE 位置编码为什么和低秩压缩打架,MLA 怎么绕开?
- 推理时「矩阵吸收」是什么 trick,为什么说它让 MLA 的 decode 又快又省?
- 落到工程上,MLA 对 kernel、分页、量化各带来什么变化?
一、从砍头到压缩:MLA 之前的 KV 精简路线
先把问题摆清楚。标准多头注意力(MHA,Multi-Head Attention)每层每个 token 要缓存 n_heads 组 K、V 向量。以 DeepSeek-V2 级别的配置为例:128 头、每头维度 128,单 token 单层的 KV 就是 128 × 128 × 2 = 32768 个元素,FP16 下 64 KB。60 层下来,单 token 的 KV cache 接近 4 MB——一条 32K 上下文的长请求光 KV 就要吃掉上百 GB 显存,显然不现实。
GQA(Grouped-Query Attention,分组查询注意力)的做法是让多个 Q 头共享一组 K、V,比如 128 个 Q 头配 8 个 KV 头,缓存直接除以 16;MQA(Multi-Query Attention,多查询注意力)更极端,所有 Q 头共享一组 K、V,除以 128。代价是表达能力:所有 Q 头看同一份 K、V,检索多样性受限,MQA 在长上下文、多任务上的掉点是有文献记录的;GQA 是折中,但压缩比和效果不可兼得——想要 MHA 的质量就只能留较多的 KV 头,缓存还是大。
MLA 换了一个视角:压缩的对象不应该是「头的数量」,而是「K、V 矩阵本身的秩」。一个 128 × 128 头的 KV 张量,其信息很可能集中在远小于全秩的子空间里——这并非空想:训练好的模型里 K、V 投影矩阵的奇异值谱衰减很快,前几百个奇异向量就承载了绝大部分能量,后面的大段尾部基本是噪声。既然低秩,就可以把高维 K、V 表示成一个小维度潜向量(latent vector)乘以展开矩阵。缓存时只存潜向量,维度从 16384(128 头 × 128 维)压到 512~576,压缩比 28 倍以上,而且所有头的信息都在潜向量里,不存在「共享一份 K、V」的表达损失。这就是为什么 DeepSeek-V2 论文报告 MLA 不仅缓存远小于 MHA,在多数 benchmark 上还略高于 MHA——低秩瓶颈反而起了正则化作用,把容量浪费在噪声方向上的自由度剪掉了。
上图把四条路线放在一起:GQA/MQA 沿「减少 KV 头」一条路走到底,MLA 则把问题重述为低秩分解。下面进入数学细节。
二、低秩联合压缩:MLA 缓存的到底是什么
MLA 的第一步是给每个 token 算一个 KV 潜向量。设输入隐藏状态为 h(维度 d),则:
- 压缩:
c_kv = W_DKV · h,W_DKV是d_kv × d的降维矩阵,d_kv是潜维度(DeepSeek-V2 取 512,远小于n_heads × d_h); - 展开(用时才算):
k = W_UK · c_kv,v = W_UV · c_kv,两个升维矩阵把潜向量还原成全部头的 K、V。
关键观察:c_kv 是从 h 到 K、V 的共同瓶颈。所有头的 K 和 V 都从同一个 512 维向量展开而来,所以缓存 c_kv 一份就等于缓存了全部 KV。Q 侧同样做了一次低秩压缩(c_q = W_DQ · h,q = W_UQ · c_q),但那是为了省训练显存和参数,与推理缓存无关,本篇不展开。
| 对比项 | MHA | GQA(8 KV 头) | MLA(d_kv=512) |
|---|---|---|---|
| 每 token 每层缓存元素数 | 128×128×2 = 32768 | 8×128×2 = 2048 | 512 + 64(RoPE 分量)= 576 |
| 相对 MHA | 1 | 1/16 | 约 1/57 |
| 表达能力 | 满 | 折中(共享 KV) | 低秩瓶颈,实测不低于 MHA |
| 展开开销 | 无 | 无 | 推理时可用矩阵吸收摊掉 |
有个细节值得停一下:低秩分解在推荐系统、LoRA 微调里早就是老生常谈,为什么注意力 KV 压缩直到 2024 年才跑出 MLA 这个能打的形态?障碍有两个。其一,KV 是逐 token 生成、逐 token 消费的流式数据结构,压缩方案必须在「单 token 增量写入」下保持高效,任何需要全局重整(比如对整段 KV 做 SVD)的方案都出局——MLA 的潜向量是逐 token 独立投影,天然满足。其二,就是下一节的主角 RoPE:位置编码与低秩吸收在数学上不兼容,解不开这个结,省下来的缓存会被展开计算吃回去。缓存量账很好算,但 MLA 真正的巧劲在后面两节:一是 RoPE 位置编码不能简单塞进低秩分解;二是展开矩阵可以在推理时「吸收」进相邻矩阵,让 decode 阶段根本不用真的展开 K、V。
三、RoPE 冲突:为什么要在潜向量之外单开一条「小尾巴」
RoPE(Rotary Position Embedding,旋转位置编码,原理见 RoPE 与长上下文外推)给 Q、K 按位置做旋转变换,注意力分数因此只依赖相对位置。问题在于:RoPE 是逐位置的非线性操作,没法穿过矩阵乘法被「吸收」。
设想天真方案:k = RoPE(W_UK · c_kv)。注意力分数是 q · k = (W_UQ c_q) · RoPE(W_UK c_kv)。推理时我们想把 W_UQ 和 W_UK 预先合并成一个矩阵(下一节详述),这样 c_kv 就能直接参与打分、不用展开。但 RoPE 夹在中间,旋转矩阵逐位置不同,无法与固定的 W_UK 交换次序——要么放弃吸收(每步真展开全部 K,128 头 × 128 维的展开成本吃掉缓存收益),要么放弃 RoPE。
MLA 的解法是解耦 RoPE(decoupled RoPE):把 K 拆成两部分——
- 内容部分:走正常低秩路径,从
c_kv展开,不带位置信息; - 位置部分:单独一个小维度向量
k_rope = RoPE(W_KR · h)(DeepSeek-V2 取 64 维),所有头共享,直接带着 RoPE 缓存。
Q 侧对称地也拆出对应的 64 维 RoPE 分量。每个头的 K 就是「内容 128 维 + 位置 64 维」拼接,打分时分块点积再相加。这样,内容部分干干净净走低秩吸收,位置信息由这条 64 维「小尾巴」携带。缓存里因此有两样:c_kv(512 维)加 k_rope(64 维),合计 576 维——这就是上表 576 的来历。
上图的双路径结构是 MLA 的标志性设计。代价是每个 token 多缓存 64 维、多头共享同一份位置分量(表达上略有妥协),换来的是整个低秩吸收路径保持干净——下一节说明这有多值。
四、矩阵吸收:decode 阶段不展开 K 的核心 trick
现在看推理 decode 时怎么用这份压缩缓存。注意力分数 s = q · k,展开来写:s = (W_UQ c_q) · (W_UK c_kv) = c_q · (W_UQ^T W_UK) · c_kv。
把 W_UQ^T W_UK 看成一个整体矩阵 W_absorb(每个头一个,可在模型加载时预先算好),分数就变成 c_q · W_absorb · c_kv——直接用潜向量打分,K 从头到尾不需要真的展开成 128 头 × 128 维。同理,输出加权和 o = softmax(s) · v 里的 W_UV 可以吸收进输出投影 W_O,变成 W_O W_UV,也是预计算。
这就是「矩阵吸收」(matrix absorption)。吸收之后,decode 的注意力在数学上等价于一种「潜空间 MQA」:查询是各头的 c_q(经 W_absorb 变换后维度升到 512),键直接是共享的 512 维 c_kv。对比 MQA——它的 Q 是全头维、K 只存一份;MLA 吸收后恰好反过来,K 是「胖」的 512 维、Q 也升到 512 维去匹配。这意味着 MLA 的 decode kernel 可以复用成熟的 MQA 解码内核思路,只是维度换成潜维度。
工程上还有一层收益来自算术强度。Decode 是显存带宽瓶颈(见 GPU 显存层次与带宽):每步要从 HBM 读全部历史 KV。MLA 把每 token 读取量从 64 KB(MHA 单层)压到约 1.1 KB(576 维 FP16),同样带宽下能服务几十倍的并发 token——这与 PagedAttention 解决的是正交问题:一个管「每个 token 存多少」,一个管「存的东西怎么摆」,两者叠加才是完整答案。
| 维度 | 展开后按 MHA 计算 | 矩阵吸收后潜空间计算 |
|---|---|---|
| 每步展开成本 | 每 token 两次 d_kv → n_heads·d_h 升维 | 零(吸收进加载期预计算矩阵) |
| 参与打分的向量 | 128 头 × 128 维的完整 K | 512 维 c_kv 直接打分 |
| 输出升维时机 | 加权 V 之后逐头投影 | 潜空间加权和,最后一次 W_O W_UV |
| kernel 形态 | FlashAttention 变体 | 类 MQA 解码 kernel,Q/KV 均为潜维度 |
| 数值一致性 | 基线 | 与基线一致(仅浮点重排误差) |
需要强调「吸收」的适用边界:它只在 decode 的增量打分里成立,因为此时每个新 token 的 Q 是单行向量,W_absorb 可以整体乘进去。Prefill 阶段 Q 是一整段矩阵,吸收的等价变换依然成立但不见得更快——多数引擎干脆 prefill 走展开路径、decode 走吸收路径,两路径在同一模型里共存,这是阅读开源实现时容易困惑的地方。
上图对比了两条执行路径。左路的「先展开再算」在教学代码里常见,部署时务必走右路:吸收矩阵随权重加载一次性物化,decode 全程在潜空间运算。
五、落地工程要点:kernel、分页与量化怎么适配
理论讲完,落到推理引擎里有几件具体事。
Kernel 形态变化。 Prefill 阶段与 MHA 差别不大(可以展开后走 FlashAttention,见 FlashAttention 显存分块),真正的差异在 decode:吸收后的注意力是「Q 维度 512+64、KV 共享一份」的形态,对 GEMM/GEMV 的形状要求与 MQA kernel 接近但维度更胖。SGLang、TensorRT-LLM 等引擎为 MLA 写了专用 decode kernel;vLLM 的支持则经历了从「展开回 MHA」到「原生潜空间计算」的演进,性能差可达数倍——选型时确认引擎用的是哪条路径,这是 MLA 部署最常见的坑。
与分页缓存的组合。 MLA 的缓存单元是每 token 576 维的向量,形态比 MHA 规整得多(没有头维),接入块表分页管理反而更简单:块里就是连续排列的潜向量。但注意解码 kernel 要同时支持「分块读取」和「潜空间打分」两件事,不能简单套 PagedAttention 原版 kernel。
与 KV 量化的叠加。 KV cache 量化 INT4 对 MLA 同样适用,且有个好消息:c_kv 是单一向量而非分头张量,离群值分布更集中,量化到 FP8 甚至更低精度的鲁棒性实测好于分头 KV。DeepSeek 官方推理栈就对 KV cache 用 FP8。缓存基数小了再量化,长上下文的显存压力基本被结构性消除。
多卡与张量并行。 MLA 在 tensor parallel(张量并行,把单层权重切到多张卡上)下有个独特问题:c_kv 被所有头共享,按头切分后每张卡都需要完整副本,要么复制缓存(显存换通信)、要么把 KV 计算集中到数据并行维度。DeepSeek-V3 的部署实践倾向后者,把 MLA 层做成「KV 侧数据并行、Q 侧张量并行」的非对称切法。
调度与容量规划的变化。 KV cache 变小一个量级之后,推理节点的资源配比会被改写:原本「显存先耗尽、算力还有富余」的 decode 节点,现在瓶颈前移到了算力与 SM 占用,batch size 上限显著提高,连续批处理的批次可以更肥;反过来做容量规划时,MLA 模型单卡可承载的并发 token 数要按新公式重估,沿用 MHA 时代的经验数字会严重低配。这对 prefill/decode 分离部署 尤其关键——decode 节点的 KV 池预算几乎可以直接按「潜维度 × 上下文 × 并发」线性推。
最后给一个选型视角的收尾判断:MLA 不是免费的午餐。潜维度是新的超参,压太狠会掉点;RoPE 小尾巴与潜向量的比例、吸收矩阵的预计算内存(每头一个 W_absorb,头数多时参数量可观)都是新账。但在「长上下文 + 高并发」这个推理主战场上,它把 KV cache 从「MB 级每 token」压到「KB 级每 token」且质量不降,是 2024 年以来注意力结构里少见的「既省又好」的设计,Kimi K2、DeepSeek 系的跟进已经把它从论文方案变成了事实标准之一。
这一篇在知识体系里的位置
本篇是 KV cache 压缩线索的进阶篇:上游基础是 KV cache 与推理显存(缓存为什么占显存)与 GQA/MQA 的 KV 压缩账(第一代砍头方案);同层配合 PagedAttention:vLLM 用分页 KV cache 把推理吞吐翻几倍(摆放优化,与 MLA 正交叠加)、FlashAttention 显存分块(prefill 计算侧)和 RoPE 与长上下文外推(decoupled RoPE 的背景);下游可接 KV cache 量化 INT4(在压缩基础上再砍精度)与 prefill/decode 分离部署(MLA 让 decode 节点的显存配比彻底改写)。
总结
MLA 注意力把全部头的 K、V 联合低秩压缩成一个 512 维潜向量(外加 64 维 decoupled RoPE 小尾巴)缓存下来,推理时通过矩阵吸收让潜向量直接参与打分、全程不展开,KV cache 相对 MHA 缩小约两个数量级且质量不降——它把「省 KV 显存」从砍头数的粗暴路线升级成了信息论意义上的压缩,配合分页与量化后,长上下文高并发推理的显存瓶颈被结构性缓解。