多草稿投机解码:多个 draft 模型与多头的集成式调度实践
更新时间:2026-10-07。前面 投机解码方法全景 梳理过 draft-then-verify 家族的全貌,EAGLE 与 Medusa 投机头 讲过单草稿头的两种主流形态,投机解码接受长度 给过单草稿下接受长度与加速比的定量关系。本篇再往前一步:当一个 draft 不够用时,怎么用多个 draft 模型或多个草稿头做多草稿投机解码(multi-draft speculative decoding,即让多个廉价提案源并行猜词、目标模型一次树状验证的集成式解码),以及它的调度与开销核算怎么做。
本文要回答的问题
- 单 draft 的接受长度天花板在哪里,多草稿凭什么能推高它?
- 多独立 draft 模型、Medusa 多头、EAGLE 树三种提案源怎么选?
- 多条草稿合并成一棵树时,树验证(tree attention)怎么调度、节点预算怎么分?
- 多草稿的额外开销如何核算,什么负载下值得开、什么负载下反而亏钱?
一、单 draft 的天花板与多草稿的收益来源
先回忆单草稿的定量结论:设目标模型每步接受长度的期望为 E[τ],则理想加速比约等于 E[τ] 除以「draft 生成 γ 个 token 的成本加一次目标模型验证的成本」。在 草稿长度调优 里我们看到,γ 调大收益很快饱和——因为 draft 是贪心单链,第 k 个位置猜中的概率随 k 指数衰减,真实场景里 token 级接受率 α 在 0.6~0.8 时,γ=5 之后再延长草稿,新加的 token 几乎全是浪费。
多草稿投机解码换一个思路:不再把链拉长,而是把路拓宽。在每个位置上不让 draft 只给 top-1,而是让多个提案源各给一条候选,把所有候选合并成一棵树,目标模型用一次前向把整棵树验证掉。收益来自两处。其一,单 draft 在某个位置「差一点猜对」时(top-1 错、top-3 里有对的),多分支直接命中;其二,不同提案源的错误模式不完全相关——EAGLE 头擅长高频模式延续,独立小模型擅长语义平滑补全,两者在分歧点上互为备份。
给一个数感:同一 13B 目标模型、7B 以下的 draft 配置下,单链 γ=5 的 E[τ] 常见在 2.5~3.0;把同样的算力预算换成宽度 4、深度 4 的树(约 16~24 个验证节点),E[τ] 普遍能推到 3.5~4.2,MT-Bench 类开放对话上提升尤其明显。代价是验证批的 token 数翻了几倍——这就是后面第三节要算的开销账。
图里对比了两种花预算的方式:左边单链把 γ 个 token 排在一条路径上,任何一个位置猜错后面全废;右边多草稿树在浅层就铺开多个分支,等于把「赌一个位置连续猜对 k 次」换成「赌每个位置至少有一个分支猜对」。前者的成功概率是 α 的 k 次方连乘,后者是 1 减去所有分支同时错的概率——这就是 E[τ] 能被推高的全部数学直觉。
二、三种提案源:独立小模型、Medusa 多头、EAGLE 树
工程上能拿来当多草稿提案源的有三类,性格和成本完全不同。
多独立 draft 模型:跑 2~3 个不同的小模型(比如同族 1B 和 3B,或一个通用一个领域微调)各自提案。优点是实现直白、错误相关性最低;缺点是每多一个 draft 就多一份 KV cache 和一次完整前向,GPU 占用线性涨。适合显存宽裕、追求极限 E[τ] 的离线吞吐场景。
Medusa 多头:在目标模型本体上加 k 个轻量解码头,第 i 个头专门预测 t+i 位置的 token 分布,一次目标模型前向同时产出 k 个位置各自的多候选,组合起来天然是一棵树。机制细节见 Medusa 多头与树注意力。优点是没有独立 draft 的串行前向开销,缺点是每个头的预测是条件独立的(头与头之间看不到彼此的选择),深层分支命中率掉得快,实用深度一般 3~4。
EAGLE 树:EAGLE 头本身是自回归的(拿目标模型的倒数第二层特征做条件串行生成),它的「多草稿」体现在生成时保留 top-k 束展开成树,而不是只走贪心链。它兼顾了条件相关性和低成本,是当前单加速器场景里 E[τ] 性价比最高的提案源。
| 提案源 | 额外模型权重 | 提案延迟 | 分支相关性 | 典型 E[τ] 提升(相对单链) | 适用场景 |
|---|---|---|---|---|---|
| 多独立 draft 模型 | 每路一套完整权重 | 多路并行可掩盖 | 最低 | +25%~40% | 离线吞吐、显存宽裕 |
| Medusa 多头 | 目标模型的 1%~3% | 几乎为零 | 高(条件独立) | +15%~30% | 低延迟在线、不能加 draft 进程 |
| EAGLE 树 top-k | 一个小头(<5%) | 几次轻量前向 | 中(自回归) | +20%~35% | 单卡性价比最优 |
表里「分支相关性」一列值得单独说一句:两个提案源如果在同一个位置倾向于犯同一个错(比如都被高频 token 带偏),集成收益就塌缩成单 draft。独立小模型和 Medusa 头的错误模式差异最大,混编(Medusa 头出浅层、独立 draft 出深层)是一些生产系统的做法;EAGLE 因为复用目标模型特征,和目标模型的「口味」最接近,接受率最高但多样性最低——这不是缺点,是它拿 E[τ] 的方式:靠准而不是靠广。
三、树合并与验证调度:一次前向吃掉所有候选
多草稿的工程核心在「合并成树 + 一次验证」。所有提案源的输出先要合并成一棵有公共前缀的树:根是当前已确认序列的最后一个 token,每个节点带一个来自哪个提案源的标记。合并时做两件事:去重(不同 draft 给出相同前缀时合并子树,省验证节点)和剪枝(按每个节点的累积概率排序,只保留总节点预算内的 top 分支)。
验证阶段用树注意力(tree attention):把整棵树拉平成一个序列喂给目标模型,注意力掩码按树的祖先关系构造——每个节点只能看到它的祖先链,看不到兄弟分支。这样一次前向就得到每个节点的下一个 token 分布,然后从根开始做接受采样:沿每个分支逐层比较目标模型分布与草稿 token,接受最长的连续命中前缀,再在分歧点从修正分布里采一个新 token。多分支里取接受长度最长的那条作为本轮输出。
图里是完整的一轮多草稿调度流水:两路提案源并行产出候选,合并器先把公共前缀塌缩(A 和 B 都以「的」开头时只留一个节点),剪枝器按联合概率裁到验证预算内,目标模型一次前向算出全树 logits,最后接受阶段逐分支找最长命中。要注意接受阶段的最长命中不一定来自概率最高的分支——高概率分支可能在第 2 层就分歧,次高概率分支反而一路命中到第 4 层,所以调度器必须对所有分支并行做接受判定再取 max,不能偷懒只走 top-1 分支。
节点预算(树总共保留多少节点)是多草稿最关键的调度参数,直接决定验证批的大小。经验区间 16~64:低于 16 集成优势出不来,高于 64 时验证前向开始撞上目标模型的算力拐点(decode 本是显存带宽瓶颈,但验证批大到一定程度就翻转成算力瓶颈,每多一个节点都是实打实的 FLOPs)。在 H100 上跑 70B 模型,验证批从 8 加到 32,单步耗时大约只涨 10%~20%(还在带宽区);加到 128 就涨 60% 以上,开始亏钱——具体拐点因模型和卡而异,上线前必须实测。
四、与 continuous batching 的耦合:变长验证批的调度
单请求视角讲完,还要把多草稿放回服务的真实形态——continuous batching 里几十个请求并发 decode,每个请求每轮带着自己的一棵候选树。这给调度器添了两个新麻烦。
一是验证批大小随请求数与树宽的乘积膨胀。50 路并发 × 每路 24 节点 = 1200 token 的验证批,早已越过算力拐点,投机从省时间变成烧时间。工程解法是动态树宽:调度器按当前并发线性收缩每请求的节点预算,比如并发 <8 时给 32 节点、8~32 给 16、>32 给 8、打满时直接退回普通 decode。vLLM、TensorRT-LLM 的近版本都在往「投机预算作为调度器一等公民」的方向走,思路和 chunked prefill 的 token 预算 是同一个——把投机树也纳入每步 token 总预算里记账。
二是KV cache 管理。树验证要求把候选节点的 KV 先写进 cache,接受后再把没选中的分支回收。PagedAttention 的 block 结构对此天然友好(分支共享前缀 block,分歧后才拷贝),但分配器要支持「试探性写入 + 批量回滚」,这是多草稿落地时改代码最多的一块。Medusa 系方案因为候选节点少(典型 64 以内)、生命周期短,有些实现干脆用一块独立的临时 buffer 不进主 cache,省掉回滚逻辑。
图里给出预算优先级:普通 decode 每路的 1 个 token 是硬需求先扣,投机验证批第二优先且宽度随并发自适应,prefill 切片吃余量。这个排序的理由是投机树的边际收益递减最快——砍掉一半节点,E[τ] 可能只掉 15%,但省下的预算能让 prefill 少切一步。把三类需求放进同一个预算池统一记账,是多草稿在服务化落地时和单跑 benchmark 最大的差别。
五、开销核算与验收:什么时候开、什么时候关
多草稿投机解码不是免费午餐,核算框架就三笔账。
收益账:端到端加速比 ≈ E[τ] × 目标模型单 token 成本 ÷(提案成本 + 验证成本)。E[τ] 从单链的 2.8 提到树的 3.8,若提案和验证的额外开销合计控制在 25% 以内,净加速约 1.1~1.2 倍——叠加在单草稿已有的 1.8~2 倍之上,端到端能到 2.2~2.5 倍。
成本账:提案侧,Medusa 头几乎免费,EAGLE top-k 束约等于把 EAGLE 前向宽度乘 k(仍是小头,便宜),多独立 draft 最贵(每路一次完整小模型前向加 KV 占用)。验证侧,节点预算内的每 token 都按目标模型 decode 价格付费,超过算力拐点后价格还会上浮。
负载账:这是最容易被忽略的一笔。投机的全部收益建立在「decode 时 GPU 算力闲置」上;高并发打满时算力本来就饱和,验证批是纯增量开销,此时正确动作是关投机而不是调小树。生产策略建议做三档:低载开全量树(32~64 节点)、中载缩窄(8~16)、高载关闭,切换阈值用实测的吞吐-延迟曲线定,拍脑袋的阈值大概率在拐点错误的一侧。
图里是三档负载状态的切换逻辑:低载全量开树吃满 E[τ] 红利,中载缩窄控制验证批,高载果断关闭——注意箭头是双向的,负载回落要能自动恢复,做成人工开关的系统在线上几乎都会忘了重新打开。档间切换建议加迟滞(进入阈值和退出阈值错开 20% 左右),防止并发在临界点抖动时来回翻转。
验收盯四个指标:接受长度 E[τ] 的在线滑动均值(掉了说明流量分布变了或树宽被调度器缩了)、验证批平均 token 数(看开销)、有效吞吐(output token/s,唯一算数的业务指标)、P99 ITL(树验证单步变长,确认没把尾延迟打爆)。四个指标里任何一个恶化超过 5%,回到对应档位重调。和单草稿一样,验收必须用真实流量回放,合成等长 prompt 会系统性高估 E[τ]——真实对话里 draft 命中率的重尾分布是合成数据模拟不出来的。
还有两个落地坑值得提前避开。其一,投机采样必须保持分布无损:多草稿的接受判定仍走经典的重要性采样修正,树结构只是改了候选的生成方式,不改目标分布;有团队为了省事对多分支只做「命中即接受、不命中回退贪心」,输出分布会发生可观测偏移,长文本任务上表现为重复率上升、评测分数掉一到两个点——验收时除了延迟指标,抽一批固定 prompt 对比开关投机前后的输出一致性是必要动作。其二,分词器一致性是隐性前提:多独立 draft 方案里,draft 与目标模型必须共用同一个分词器,否则草稿 token 边界对不齐,验证阶段要么拒绝率异常偏高、要么需要在 token 序列层面做对齐补丁,工程复杂度直接翻倍;选型时先查 tokenizer 的 vocab 哈希再谈集成收益,能省掉后面一半的排障时间。
这一篇在知识体系里的位置
本篇是投机解码线的调度集成篇:上游 投机解码方法全景(家族地图)、EAGLE 与 Medusa 投机头(单提案源机制)、Medusa 多头与树注意力(树验证底层);同层 投机解码接受长度(单链定量基础)、草稿长度调优(γ 的取舍);下游可接调度侧的 continuous batching 调度器 与 vLLM chunked prefill 配置(统一预算记账)。
总结
多草稿投机解码的核心是把「一条链赌长度」换成「一棵树赌宽度」:多个提案源(独立 draft 模型、Medusa 多头、EAGLE top-k 束)的候选合并去重剪枝成 16~64 节点的树,目标模型用树注意力一次前向验证、取最长命中分支,把接受长度从单链的 2.5~3 推到 3.5~4.2;落地的全部学问在调度——树宽纳入每步 token 预算统一记账、随并发自适应收缩、高载直接关闭,验收只看接受长度均值、验证批大小、有效吞吐和 P99 ITL 四个数,低载开树、高载关投机是永远不会错的默认策略。