Mamba 状态缓存:SSM 推理固定状态缓存与 KV cache 的本质差异速查
更新时间:2026-10-05。前面 KV cache 推理显存模型 讲过 Transformer 推理为什么必须缓存逐 token 增长的 K/V,pagedattention 与 vLLM 显存管理 讲过这套缓存怎么分页管理。但 Mamba、Jamba、Zamba 这类 SSM/混合架构火了之后,很多推理框架的缓存层被打回重画:SSM 层的「缓存」是一个固定大小、每步原地覆写的状态,跟 KV cache 的增长模型完全是两回事。本篇给一张速查视图,讲清差异、显存账和混合架构的缓存管理要点。
本文要回答的问题
- Mamba 状态缓存里到底存的是什么,为什么是固定大小?
- 它和 KV cache 在增长模型、驱逐策略、分页适配上差在哪?
- 混合架构(Jamba 式 Mamba+Attention)怎么统一管理两种缓存?
- 工程落地时显存容量、批调度、投机解码各要注意什么?
一、SSM 层缓存的是什么:conv state 加 SSM state
Mamba 的每层有两个需要跨步携带的状态。第一个是卷积状态(conv state):每个通道保留最近 k-1 个输入(k 是短卷积核宽,通常 4),形状为 (batch, d_conv, k-1),逐 token 左移一格、新 token 入尾。第二个是 SSM 状态:选择性状态空间模型的隐状态 h,形状为 (batch, heads, d_state, d_head)——以 Mamba-2 的典型配置(d_state=128、d_head=64、heads 几十)计,每层每请求只有几 MB。
关键性质:这两个状态的大小只由模型结构决定,与已生成长度无关。第 10 个 token 和第 10000 个 token 占的缓存一模一样,每步做的是原地更新(h ← h·A + x·B),不是追加。这正是 SSM 推理 O(1) 显存、O(1) 单步计算的来源——历史信息被有损地压缩进固定维度的 h 里,代价是失去了「回头精确引用任意历史 token」的能力。
对比一下:Transformer 的 KV cache 每层每请求是 2 × n_layers 内 × seq_len × d_kv,随序列线性增长,70B 级模型 8K 上下文单请求就要数 GB。SSM 状态则恒定在 MB 级,长序列场景两者差三个数量级。给一个具体数字感受:Mamba-2 2.7B 配置(d_state=128、d_head=64、heads=80、约 50 层),单请求全部层的 SSM 状态加 conv state 合计约 80MB;换成同规模 Transformer 跑 32K 上下文,KV cache 要 4GB 以上。这也是为什么 SSM 架构在长文本、基因组、音频流这类几十万 token 的场景被反复提起——瓶颈从「存不下」直接消失。
上图把两类缓存并排摆开:左边 KV cache 是「只增不写的日志」,右边 Mamba 状态缓存是「固定槽位的寄存器」。这个结构差异决定了后面所有工程决策:分页、驱逐、offload 这些为 KV cache 发明的机制,对 SSM 状态大部分用不上也搬不动。
二、本质差异速查表
| 维度 | KV cache(Attention) | Mamba 状态缓存(SSM) |
|---|---|---|
| 内容 | 每 token 的 K/V 向量 | conv state + SSM 隐状态 h |
| 大小 | 随 seq_len 线性增长 | 固定,与长度无关 |
| 更新方式 | 追加写,历史只读 | 每步原地覆写 |
| 长上下文代价 | 显存与带宽随长度涨 | 恒定 |
| 精确召回历史 | 可以(注意力回看任意位置) | 不行(有损压缩进 h) |
| 分页/驱逐 | 核心机制(paged / H2O / sink) | 无此需求 |
| CPU offload | 可分层换出(见 KV cache offload) | 太小,不值得换 |
| 投机解码适配 | 回滚 = 截断尾部 | 回滚难:h 已被覆写 |
表里最后一行是实战中最容易被低估的一条。KV cache 回滚很便宜——投机解码拒绝 drafted token 时把尾部几行作废即可;SSM 状态每步被覆写,「撤销一步」要么提前快照 h(每步多存一份,抹掉固定大小的优势),要么重算。投机解码方法全景 里的多步草稿在 Mamba 层上普遍要改成「接受前快照、拒绝时恢复」的方案,开销随草稿长度涨。
另一个隐性差异是带宽访问模式。KV cache 的 decode 每步要把整段历史 K/V 读一遍做注意力,带宽消耗随长度线性涨,这正是长上下文 decode 越来越慢的根因;SSM 每步只读写固定大小的 h,单步耗时恒定。所以压 decode 延迟时,两者的优化方向完全不同:KV 侧在减读取量(FlashMLA 解码内核、稀疏注意力),SSM 侧在减状态更新的 kernel 开销与 launch 缝隙。
三、混合架构:一份请求两套账本
纯 Mamba 在需要精确检索的任务上吃亏,所以工程上主流是混合架构:Jamba 按 7:1 交错 Mamba 层与 Attention 层,Nemotron-H、Zamba2 各有配比。推理时一份请求要同时维护两套缓存:Mamba 层的固定状态 + 少数 Attention 层的 KV cache。
上图的重点是调度器视角的两本账。每开一个 batch 槽位,Mamba 状态是常量成本(模型定死,框架通常在 warmup 时按最大 batch 一次性预分配连续显存);KV cache 是变量成本,仍走 paged 池按需分配。因为 Attention 层占比小(1/8 甚至更少),同一模型的混合版 KV 显存常常只有纯 Transformer 版的 1/5~1/8,这就是 Jamba 能单卡塞 256K 上下文的原因。容量规划时先算 max_batch × N_layers × state_size 的固定盘,再把剩余显存全给 KV 池。反过来,如果业务以短序列为主、batch 开得很大,固定盘会先顶到天花板——这时加 KV 池没有任何意义,该调的是状态精度或层内共享策略。
驱逐策略也要分清两套:KV 部分的 H2O 重击者驱逐、attention sink 保留 仍然适用,但只作用在那 M 个 Attention 层上;Mamba 状态没有任何可驱逐的粒度——它就是完整的一份,要省显存只能靠量化或砍 d_state。
四、工程落地要点
实战中四条速查。其一,prefill 用并行扫描、decode 用递推:prompt 阶段 SSM 走 chunked scan(一次算完整个 prompt 的 h),decode 切回逐 token 递推,两个阶段访问的是同一块状态显存,框架要保证切换点状态完整落位。其二,状态量化谨慎:h 的数值范围对量化比 KV 敏感,INT8 起步验证,FP8 更稳。其三,continuous batching 的换入换出:请求被抢占时 Mamba 状态要整块搬走再整块搬回,尺寸固定所以实现简单,但要把它计入调度器的显存水位。其四,多轮对话的前缀复用:KV cache 能复用公共前缀(prefix caching),Mamba 状态只能复用到「前缀结尾的那份 h」——可行但要求前缀在块边界对齐,收益结构与 KV 前缀缓存不同,别照搬配置。其五,故障排查时先分清是哪套缓存满了:混合架构 OOM 时,先查 KV 池水位(变量侧),再查 batch 槽位数(常量侧);前者靠驱逐、offload 或缩 max_len 解决,后者只能缩 max_batch 或给状态做低精度存储,两者的调参旋钮完全不通用。
这一篇在知识体系里的位置
本篇属于推理显存管理线索:上游是 KV cache 推理显存模型(增长账怎么算)与 pagedattention 分页管理(Transformer 侧的解法);同层对照 KV cache 量化 INT4 与 KV cache offload CPU 混合(KV 侧的省显存手段,注意它们大多不适用于 SSM 状态);下游衔接 chunked prefill 与 PD 分离 和 投机解码方法全景 在混合架构上的改造。
总结
Mamba 状态缓存由固定大小的 conv state 与 SSM 隐状态 h 组成,每层每请求恒定 MB 级、每步原地覆写、与序列长度无关,这与随 token 线性增长、追加写、需要分页驱逐的 KV cache 存在本质差异:SSM 侧没有驱逐和分页问题但难以回滚与量化,KV 侧机制(H2O、sink、offload)大部分搬不过去;Jamba 式混合架构因此要给一份请求维护两本账——Mamba 状态按最大 batch 预分配常量显存,少数 Attention 层的 KV 仍走 paged 变量池,批量上限由两者共同决定,而投机解码与前缀复用在 SSM 层都要按「快照恢复 h」的思路重做。