早退推理:层早退与跳层在解码时延上的收益,以及为什么落地这么难
更新时间:2026-10-03。「推理时延」这条线索上,投机解码 用小模型猜大模型的输出来压缩解码步数,LLM Serving 的 TTFT/TPOT 与 SLO 讲清了 TPOT(每 token 输出时延)为什么是交互体验的命门。早退推理(early exit)走的是另一条路:不减少 token 数,而是让每个 token 少跑几层——简单的词在第 10 层就「想清楚了」,何必走完 32 层?与之同族的 MoD(Mixture-of-Depths,深度混合)把「每层处理所有 token」改成「每层只处理一部分 token」。这篇讲它们的收益从哪来、工程上为什么难落地。
本文要回答的问题
- 层早退的直觉依据是什么?「简单 token 提前出结果」在 Transformer 里怎么判定?
- 早退对 decode 时延的理论收益有多大?为什么按「平均层数」算账?
- MoD 的跳层路由和层早退有什么本质区别?为什么它更适合训练期就固化?
- 批处理(batching)场景下早退为什么会「收益蒸发」?
- KV cache 在跳层模型里怎么处理,跳过层的 KV 从哪来?
一、直觉:残差流是逐步求精的,不是每层都颠覆
层早退的立论来自对 Transformer 残差流的观察:隐藏状态在层间是渐进修正的,不是每层推倒重来。机械可解释性研究里的「logit lens」实验直接证明了这点——把中间某一层的隐藏状态直接投影到词表,会发现模型在远不到最后一层时就已经「猜到」了最终答案,后续层只是在细化和确认。对高频词、固定搭配、语法填充词(比如 "The capital of France is ___" 里的 "is"),十几层的计算就足以让 top-1 分布稳定下来。
这就给了一个诱人的交易:如果能在中间层可靠地判定「这个 token 已经想清楚了」,就提前把隐藏状态送去最后的归一化和输出头,跳过后续所有层。判退的经典做法有两类。一类是置信度判据:当前层投影出的词表分布熵够低、或 top-1 与 top-2 的概率差够大,就退。另一类是学习判据:每层挂一个小分类器(叫 exit head 或 halting head),训练它预测「在这一层退出,最终答案会不会变」。CALM、FREE 等工作都是这条路线的变体。
理论上收益按「平均层数」算:32 层模型,如果 60% 的 token 平均在第 16 层退出,40% 走完全程,平均层数是 0.6×16 + 0.4×32 = 22.4,串行单请求下 decode 计算量约降为 22.4/32 ≈ 70%。注意这是「每 token 独立串行」的理想值,批处理下要大打折扣——第四节细说。
二、MoD:把「何时停」改成「每层谁参与」
MoD(Mixture-of-Depths,Google DeepMind 2024 年提出)换了一个正交的切法。层早退是「token 自己决定走多远」,MoD 是「每层用路由器决定哪些 token 值得算」:每一层只取 top-k 个 token 过完整的注意力加 FFN,其余 token 直接走残差旁路原样传下去。每层算力因此恒定(k 是固定的),而 token 之间按「这一层对它重不重要」动态分配计算。
上图把两条路线摆在一起:层早退在「深度」维度上做逐 token 的可变长度,MoD 在「每层宽度」维度上做逐 token 的取舍。MoD 的关键工程优势是每层计算量恒定——k 个 token 拼成一个定长批,kernel 看到的是规则形状,不需要动态控制流;这在训练期尤其重要,所以 MoD 能作为架构从头训练,而纯早退多是后训练改造。两者也可以叠加:MoD 决定每层谁参与,参与集合内部仍可早退。
三、收益的真实形状:串行很美,批量打折
单请求串行 decode 时,时延大头是逐层的权重读取(decode 是访存瓶颈,不是算力瓶颈——每个 token 都要把全部权重从 HBM 读一遍,见 KV cache 与推理显存 对访存与计算关系的讨论)。跳过半数层意味着少读半数层的权重,时延近似线性下降,这是早退推理最好看的场景:端侧单用户、小批量。
但生产 serving 几乎都在跑 连续批处理:几十上百个请求的 token 拼在一个批里同步过层。这时问题来了——同一批里不同 token 想在不同层退出,而 GPU kernel 是整批一起算的。三个出路都不理想:
| 出路 | 做法 | 代价 |
|---|---|---|
| 批内对齐最深者 | 批里有一个 token 要走到 32 层,全批陪跑 | 早退率被最难 token 锁死,收益蒸发 |
| 逐层重组批 | 每层把「存活」token 重新gather成新批 | gather/scatter 开销加 kernel 启动开销,层数多时吃掉收益 |
| 请求级调度 | 退出的请求提前换入新请求 | 需与连续批处理调度器深度耦合,工程复杂 |
实测结果是:纯层早退在 batch=1 时 TPOT 收益能到 20%–35%,batch 上到 32 以上后常常只剩个位数,甚至为负。MoD 因为每层算力恒定、形状规则,在批处理下的损耗小得多——这也是工业界对「训练期固化的跳层」比「推理期动态早退」更认真的核心原因。
四、实现约束:KV cache 与判退可靠性
两个硬约束决定了早退能不能上生产。
**约束一,跳过层的 KV cache 从哪来。**注意力要求每个位置在所有层都有 K、V 可查。token 在第 10 层早退了,第 11–32 层它的 K、V 没人算过——但后续 token 走到第 20 层做注意力时还要回看它。处理方案有三:早退时一次性把剩余层的 K、V 用当前隐藏状态补算出来(等于把省下的 FFN 计算又花掉一部分);让后续层的注意力跳过这些「缺层」token(会掉精度);或者干脆只对 FFN 早退、注意力全走(计算省一半,KV 完整,MoD 的一些实现就是这么折中的)。这笔账常常让纸面收益缩水三到五成。
**约束二,判退器本身要又准又便宜。**判据误判的代价是不对称的:该退没退只是浪费算力,不该退退了直接改输出——在长生成里错误还会经 KV cache 传染后续所有 token。所以判退阈值得保守标定,而保守标定又压低早退率。另外逐层跑判退分类器、做词表投影求熵,本身也是开销,判据层数密度太高时开销能吃掉 5%–10% 的收益。
还有一个隐性约束:硬件 Kernel 生态。vLLM、TensorRT-LLM 等主流推理框架的执行图按「所有层对所有 token」静态铺排,动态深度要改造调度器和 kernel 调度路径,这也是为什么当前更现实的落地形态是静态跳层——训练后离线分析每层重要性,直接裁掉贡献低的层(layer pruning),得到一个更浅的稠密模型,配合 KV cache 量化 这类正交手段一起压 TPOT。
这一篇在知识体系里的位置
本篇属「推理时延」线索的动态计算侧:上游是 LLM Serving 的 TTFT/TPOT 与 SLO(时延指标定义)与 KV cache 与推理显存(decode 访存瓶颈的来历);同层对照 投机解码(压缩解码步数,与早退压缩每步深度正交,理论上可叠加)和 连续批处理调度器(早退收益在批处理下蒸发的舞台);下游延伸是层剪枝与 MoD 架构模型的 serving 工程。
总结
早退推理利用「残差流逐步求精、简单 token 提前收敛」的性质,让每个 token 按难度走不同层数,理想串行场景下 decode 时延随平均层数线性下降;MoD 则把它改写成「每层恒定 top-k token 参与」的规则计算,更适合训练期固化和批量执行。真正的落地瓶颈不在算法而在系统:批处理下 token 退出层不齐导致收益蒸发、跳过层的 KV cache 要补算、判退器要又准又便宜——所以当前生产上更常见的是它的静态近亲:层剪枝加训练期固化的跳层架构。