投机解码草稿模型训练:对齐目标、蒸馏与接受率优化
更新时间:2026-10-02。上一篇 投机解码推理加速 讲过投机解码的运行时机制——草稿模型先猜 k 个 token、目标模型一次前向并行验证,数学上保证输出分布不变。当时留了一个钩子:整套机制的加速比几乎完全由「草稿模型的接受率」决定,而接受率不是靠运气,是靠训练出来的。这篇就拆这个钩子——投机解码草稿模型怎么训练、对齐目标怎么设计、蒸馏怎么做、接受率怎么量化与调优。相关的草稿结构方案可对照 EAGLE 与 Medusa 投机头。
本文要回答的问题
- 为什么投机解码的加速比几乎只取决于草稿模型的接受率?理论公式长什么样?
- 草稿模型训练的「对齐目标」是什么?为什么普通的语言建模损失不够用?
- 知识蒸馏在草稿模型训练里怎么用?在线蒸馏和离线蒸馏差在哪?
- 接受率怎么量化、怎么拆解到「逐位置接受概率」?
- 工程上有哪些调优手段能把接受率从 60% 推到 80% 以上?
一、接受率为什么是唯一重要的指标
先把运行时账重算一遍。设目标模型每步前向耗时 T,草稿模型每步前向耗时 t(t ≪ T),草稿一次猜 k 个 token,平均接受 α 个(α ≤ k),验证阶段目标模型并行处理 k+1 个位置、耗时约等于一次前向 T(因为 decode 是带宽受限,batch 内多几个 token 几乎不增加耗时)。那么一轮「草稿 + 验证」的总耗时是 k·t + T,产出 α+1 个 token(接受的 α 个加上目标模型在第一个拒绝位置免费给出的修正 token)。
加速比公式:朴素解码生成 α+1 个 token 需要 (α+1)·T,投机解码需要 k·t + T,所以加速比 = (α+1)·T / (k·t + T)。当 t → 0 时,加速比上限就是 α+1。k=5、平均接受 4 个,上限 5 倍;平均只接受 1.5 个,上限只有 2.5 倍。接受率(更准确说是每轮期望接受长度)就是加速比的一阶决定项,草稿模型本身跑多快是二阶修正。
上图是一轮投机解码的时间分解。注意验证阶段的 T 与 k 几乎无关——decode 阶段是显存带宽瓶颈,一次读权重算 1 个 token 和算 8 个 token 耗时差别很小,这正是投机解码「白拿并行验证」的物理基础,背景可对照 GPU 显存层次与带宽。
既然 α 这么关键,下一个问题自然是:α 由什么决定?答案分两半——草稿模型和目标模型的分布有多接近(这靠训练),以及草稿猜多长、用什么策略猜(这靠推理时调参)。本文聚焦前一半。
二、对齐目标:草稿模型到底在学什么
普通语言模型的训练目标是 next token prediction:给定前缀,最小化模型分布与训练语料真实 token 的交叉熵。草稿模型如果也照搬这个目标,会有一个隐蔽的错位——它对齐的是「语料分布」,而投机解码需要它对齐的是「目标模型的分布」。这两个分布不一样:目标模型在推理时有自己的偏好(比如某些位置强烈倾向某个词、某些位置分布很平),草稿模型的任务不是「说得对」,而是「猜得和目标模型一样」。
形式化一点:设目标模型在位置 i 的条件分布是 p(·|prefix),草稿模型是 q(·|prefix)。贪心验证下位置 i 被接受的概率是 q 的 argmax 等于 p 的 argmax 的概率;典型采样验证(如 speculative sampling)下接受概率是 Σ_x min(p(x), q(x)),也就是两个分布的「重合面积」。两种验证方式下,接受率都是 p 和 q 距离的单调函数——分布越接近,接受率越高。训练目标因此应该直接最小化 p 和 q 的距离,而不是对语料的交叉熵。
常用的对齐损失有三档:
| 损失 | 形式 | 特点 |
|---|---|---|
| 硬标签交叉熵 | -log q(y_teacher) | 只用目标模型输出的 token 当标签,丢弃分布信息 |
| KL 蒸馏(软标签) | KL(p ‖ q) 或 KL(q ‖ p) | 用目标模型完整 logits 当教师,信息量大 |
| 直接优化接受率 | 最大化 E[Σ min(p,q)] | 最贴近最终指标,但不可微、需近似或 RL |
实践中主流是第二档:KL 蒸馏为主损失,硬标签交叉熵做正则。第三档「直接优化接受率」理论上最优——因为 min(p,q) 并不对称地惩罚所有偏差,草稿在 p 的低概率区域随便错都不影响接受率——但 min 算子不可微,需要 REINFORCE 类梯度估计或光滑近似,训练稳定性差,目前只在研究代码里出现。
上图是草稿模型训练的基本回路。注意目标模型全程冻结——它不是被训练对象,只是一个「分布标注器」。
三、蒸馏的两条路线:离线 logits 与在线生成
蒸馏的落法分两种工程路线,差别在教师信号从哪来。
离线蒸馏:先用目标模型在训练语料上跑一遍,把每个位置的 top-k logits(或完整分布)存盘,训练草稿时直接读。优点是训练快、可复用——一份教师标注可以反复试不同的草稿结构;缺点是存储量大(完整词表 logits 每 token 是 5 万到 25 万维,即便只存 top-50 也要设计压缩格式),且教师信号被固定在语料上,无法覆盖目标模型自己生成的分布。
在线蒸馏(on-policy 蒸馏):训练过程中实时让目标模型前向,甚至让目标模型自己采样生成交替轨迹(类似 RLHF 里的 rollout),草稿模型在「目标模型实际会走的轨迹」上学习。这解决了一个真实的分布偏移问题:投机解码时草稿模型的输入前缀是「目标模型生成的」,而离线语料是「人写的」,两者分布有差异——尤其目标模型有自己口癖(比如偏爱某些连接词)时,草稿在人写语料上练得再好,面对目标模型口癖位置照样猜不中。EAGLE 系列的训练就采用了「目标模型生成 + 人写语料混合」的策略,实测比纯人写语料训练接受率高几个百分点。
两条路线的取舍大致是:离线适合快速迭代草稿结构,在线适合最后冲刺接受率。不少团队的实际管线是两段式——先离线蒸馏到收敛,再在线微调几千步。
还有一个常被忽视的细节:蒸馏温度。教师分布 p 通常很尖锐(目标模型对多数位置很有把握),直接蒸馏会让草稿也变得尖锐,这在采样验证下反而压低 min(p,q) 的重合面积。把教师 logits 除以温度 τ(常取 1.5~2.5)软化后再算 KL,草稿学到的是更平的分布,接受率更稳。温度是草稿训练里性价比最高的一个超参,值得认真扫一遍。
四、接受率的量化:别只看一个总平均数
训练好了,怎么评估?「接受率」这个词在工程里至少有三个不同口径,混用会导致误判:
- 逐 token 接受率:每个草稿位置被接受的概率,是位置 i 的函数——第 1 个草稿位置通常最高(70%~85%),越往后越低,因为前一个不接受了后面全作废。
- 每轮期望接受长度 E[α]:把逐位置接受率连成乘积再求和,这是直接进加速比公式的那个数。
- 端到端加速比:在真实流量上跑,看每秒 token 数提升。这是终极指标,但它混入了草稿耗时 t、验证开销、batch 调度等一堆非训练因素。
调训练时应该盯前两个;判断要不要上线时看第三个。只报「接受率 75%」而不说是哪个口径,是评审时的常见坑——75% 的逐位置接受率按 k=5 折算,期望接受长度可能只有 2.5 左右,加速比上限 3.5 倍,远没有直觉以为的那么多。
上图画出了逐位置接受率如何累积成期望接受长度。注意连乘结构——这意味着提升早期位置的接受率收益最大:把位置 1 从 82% 提到 88%,后面所有位置的「存活率」都跟着涨。这也是为什么很多草稿结构(如 EAGLE)会把大量容量花在「预测下一个 token」这个头,后续位置用更轻的递归头。
五、把接受率从 60% 推到 80%+:工程调优清单
理论清楚后,实际把接受率推高靠的是一组具体手段,按收益从大到小排:
- 给草稿喂目标模型的隐藏状态。EAGLE 的关键发现:草稿模型如果只拿 token embedding,信息量远不如同时拿目标模型上一层的隐藏状态(feature)。目标模型的隐藏状态里已经编码了「它打算说什么」,草稿等于偷看了标准答案的草稿纸。这一条单独就能把接受率拉高 5~10 个百分点,代价是草稿和目标模型耦合变紧、不能随意换目标模型。
- 树形草稿替代链式草稿。链式猜 k 个是「一条道走到黑」,第 2 个位置猜错后面全废。树形草稿在第 1、2 个位置保留 top-2~4 个分支,验证时目标模型用带树掩码的一次前向同时验证整棵树,期望接受长度显著更高。Medusa 的多头 + 树注意力和 EAGLE 的树验证都是这个思路,结构细节见 EAGLE 与 Medusa 投机头。
- 训练数据与目标域对齐。代码场景就多在代码语料上蒸馏,多轮对话场景就用真实对话轨迹。域外训练的草稿在域内接受率掉 15 个百分点以上很常见。
- 草稿自回归输入用自己的预测前缀。训练时如果总给草稿「正确前缀」,推理时它要基于自己(可能错的)猜测继续猜, exposure bias 会让靠后位置接受率崩掉。训练时混入「草稿自己生成的前缀」(scheduled sampling 思想),靠后位置的接受率能稳很多。
- 量化与接受率的权衡。草稿模型常用 INT8 甚至 INT4 量化压 t(量化方法见 INT8 PTQ 与 QAT),但量化损失会直接折成接受率。经验上草稿用 QAT 微调过的 INT8 基本不掉点,直接 PTQ 上 INT4 可能掉 3~5 个百分点的接受率——加速比公式里 α 的权重远大于 t,多数情况下不划算。
上图是一个典型优化路径的累积效果。数字随模型与任务浮动,但排序相当稳定:输入信息(隐藏状态)大于结构(树形)大于数据(域对齐)大于超参(温度)。先捡大的。
六、训练管线全貌与常见翻车点
把前面各节拼成一条完整管线:选草稿结构(独立小模型 / Medusa 头 / EAGLE 特征头)→ 准备训练语料(人写 + 目标模型生成混合)→ 目标模型冻结出教师信号(离线缓存或在线)→ KL 蒸馏加硬标签正则训练 → 按逐位置接受率曲线评估 → 树形扩展与温度扫描 → 端到端加速比验证上线。
常见翻车点有四个。其一,教师和学生词表不一致(比如草稿用了更小的词表省参数),KL 蒸馏时分布对不上,必须先做词表映射或强制同词表。其二,训练时忘了冻结目标模型,梯度漏进教师,几轮下来教师被草稿带偏、接受率虚高但上线即崩。其三,用贪心训练的草稿直接上采样验证:贪心下 argmax 对齐就够,采样下需要全分布对齐,训练损失里必须含软 KL,否则温度高于 0 时接受率断崖。其四,只看离线评估集接受率,没覆盖真实流量的长度分布与域分布——长上下文位置接受率普遍更低(前缀里可预测模式少),评测集平均长度 512、线上平均 2048,数字必然对不上。上线前的验收必须在真实流量回放上做,这一点和 LLM 服务 TTFT 与 TPOT SLO 里讲的容量验收是同一套纪律。
最后回答一个常被问的问题:草稿模型是不是越小越好?不是。加速比公式里,α 随草稿容量上升、t 也随之上升,存在一个甜点位。经验法则是草稿参数约为目标模型的 1%~5%:7B 目标配 100M~300M 草稿,70B 目标配 1B 左右草稿。越过甜点再加大草稿,t 的增长开始吃掉 α 的增益——这也是为什么 Medusa/EAGLE 这类「共享目标模型躯干、只加小头」的结构受欢迎:它们的 t 几乎不随「草稿有效容量」增长。
这一篇在知识体系里的位置
本篇是「投机解码」线索的训练侧专题:上游是 投机解码推理加速(运行时机制与正确性保证)与 EAGLE 与 Medusa 投机头(草稿结构选型);同层可对照 LLM prompt lookup 解码(免训练的 n-gram 草稿变体)和 INT8 PTQ 与 QAT(草稿压缩的量化手段);下游延伸是树形验证的 kernel 实现、投机解码与 PagedAttention 的显存管理协同。
总结
投机解码草稿模型的训练本质是「对齐目标模型的分布」而不是「学好语言」——用 KL 蒸馏(辅以硬标签正则、合适温度、目标模型生成轨迹)把草稿的条件分布贴近教师,再以逐位置接受率连乘出的期望接受长度为主指标评估;工程上按「喂隐藏状态、树形草稿、域内数据、scheduled sampling、温度与在线蒸馏」的顺序逐项推进,接受率从 60% 推到 80% 以上,投机解码的加速比才真正兑现。