接受长度:投机解码期望加速比公式与实测调优方法
更新时间:2026-10-02。投机解码推理加速 讲清了「小模型起草、大模型并行验证」的基本循环,EAGLE 与 Medusa 推测头 讲了草稿从哪来。这两篇都反复提到一个指标——接受长度(acceptance length):一次「起草-验证」循环里,大模型实际接纳了几个草稿 token。它是投机解码所有收益的源头:接受长度是 1,等于白干;接受长度是 4,一次大模型前向产出 5 个 token。这篇专门把这个指标拆透:期望加速比怎么算、实测怎么统计、调优时哪些旋钮真正影响它。
本文要回答的问题
- 接受长度的精确定义是什么?它和「token 接受率 α」是不是一回事?
- 已知接受率 α 和草稿长度 k,期望加速比的公式怎么推?
- 在真实服务里怎么统计接受长度,要看哪些分布而不只是均值?
- 草稿长度 k 设多大最划算?为什么说存在最优值而不是越大越好?
- 温度对齐、草稿模型质量、批大小这些因素各自怎么影响接受长度?
一、接受长度的精确定义
先把定义钉死。一轮投机解码循环里:草稿模型自回归地提出 k 个候选 token,目标大模型对这 k 个位置并行做一次前向,从前往后比对,连续接受前 t 个(0 ≤ t ≤ k),在第 t+1 个位置出现分歧时,用大模型自己的采样结果替换——这个 t 就是本轮的接受长度,本轮实际前进 t+1 个 token。
接受长度 t 和逐 token 接受率 α(每个草稿 token 被接受的概率)相关但不相同。在「每个位置独立、接受概率都是 α」的简化假设下,t 服从截断几何分布:
- P(t = i) = α^i · (1 − α),当 i < k;
- P(t = k) = α^k(全部接受)。
由此得到期望接受长度 E[t] = (1 − α^(k+1)) / (1 − α) − 1,注意它是「被草稿贡献的 token 数」,每轮总前进还要加大模型兜底的那一个,即 E[前进] = E[t] + 1 = (1 − α^(k+1)) / (1 − α)。举个例子:α = 0.7、k = 4 时,E[t] ≈ 2.18,每轮平均前进约 3.18 个 token;α 提到 0.8,E[t] 变成约 2.97,每轮前进约 3.97。α 每涨 0.1,期望前进长度涨近一个 token——这就是 EAGLE 这类方法拼命提升草稿质量的动机。
| α | k=2 | k=4 | k=6 | k=8 |
|---|---|---|---|---|
| 0.5 | 1.00 | 1.44 | 1.73 | 1.94 |
| 0.6 | 1.24 | 1.90 | 2.42 | 2.81 |
| 0.7 | 1.47 | 2.47 | 3.34 | 4.09 |
| 0.8 | 1.68 | 3.05 | 4.37 | 5.61 |
| 0.9 | 1.89 | 3.74 | 5.85 | 8.21 |
表里数字是期望接受长度 E[t]。两个直观结论:α 低于 0.5 时加大 k 收益很小(草稿全是浪费);α 高于 0.8 后,k 每加 2,E[t] 多涨一个多——高接受率才配得上长草稿。
二、期望加速比:接受长度只是分子的一半
接受长度决定「每轮产多少 token」,但加速比还要看「每轮花多少时间」。一轮的开销 = 草稿模型跑 k 步的时间 + 大模型一次验证前向的时间。设大模型单步解码耗时为 T,草稿模型单步耗时为 c·T(c 是相对成本系数,小草稿模型 c 通常 0.05~0.2),则:
加速比 S = (E[t] + 1) / (1 + k·c)
这个公式把投机解码的全部工程权衡浓缩在三个量里。分母里的 k·c 是被忽略的隐形成本:草稿不是免费的。用上面的例子,α = 0.7、k = 4、c = 0.1:S = 3.18 / 1.4 ≈ 2.27 倍。如果把 k 加到 8,E[t] ≈ 4.09,但分母变 1.8,S ≈ 2.83 倍——还在涨。可如果草稿模型没那么轻(c = 0.25),k=4 时 S = 3.18/2 ≈ 1.59,k=8 时 S = 5.09/3 ≈ 1.70,涨幅已经很小,k=12 反而开始降。最优 k 随 c 增大而左移,这是调参的第一原则。
上图把一轮循环的时间账摊开:验证阶段的 T 与 k 几乎无关(这正是投机解码成立的物理基础——decode 是带宽瓶颈,算 k 个位置几乎不多花钱,见 GPU 显存层次与带宽),但草稿阶段的 k·c·T 随 k 线性增长。接受长度在分子上拉,草稿成本在分母上拽,最优 k 就是两者的平衡点。
三、实测统计:别看均值,看分布
公式里的 α 是理想化常数,真实负载里接受率随内容剧烈波动。在 vLLM、TensorRT-LLM、SGLang 里开启投机解码后,引擎通常暴露两个指标:acceptance_rate(逐 token 接受比例)和 acceptance_length(每轮平均接受的 token 数)。实测时要盯住三件事。
第一,按请求类型分层统计。代码补全、JSON 格式化输出这类高确定性内容,α 能到 0.85 以上,接受长度贴着 k 走;开放域闲聊、创意写作,α 可能只有 0.4~0.5。混在一起看均值,会得出「k=4 挺好」的结论,实际上一半流量在浪费草稿算力。成熟的做法是对不同类型流量配不同的 k,甚至对低 α 流量直接关闭投机。
第二,看接受长度的直方图而不只是均值。均值 2.5 可能是「大多数轮接受 2~3 个」也可能是「一半轮 0 个、一半轮 5 个」——后者说明草稿模型在部分上下文上系统性失灵,值得捞出来看 bad case。直方图里 t=0 的占比尤其刺眼:t=0 意味着草稿 k 步全部白跑,这一轮比朴素解码还慢。
第三,把接受长度换算回端到端指标。接受长度本身不是用户体验,最终要看 TPOT(每个输出 token 的时延)改善了多少。LLM 服务 TTFT 与 TPOT 指标 讲过这套 SLO 口径:投机解码只改善 TPOT,不影响 TTFT,所以短输出请求(生成 <20 token)开投机经常不划算——草稿的固定开销摊不回来。
上图是推荐的实测流水线。关键一步是「按类型打标」——没有这一步,后面的分桶统计全是糊的。
四、把接受长度调上去:五个旋钮
实测数字不达标时,按收益从大到小依次拧这几个旋钮。
1. 换更强的草稿生成器。 这是最贵也最有效的一招。独立小模型(如 7B 目标配 1B 草稿)的 α 通常在 0.6~0.75;EAGLE-2 这类在目标模型上训练轻量推测头的方法,α 能到 0.8 以上,因为它直接复用目标模型的中间特征,「猜得更像大模型自己」。代价是要为每个目标模型单独训练草稿,工程链路变长。
2. 调草稿长度 k 到甜点。 用第二节的公式粗算区间,再在线上 A/B:固定草稿模型,k 从 2 扫到 8,画「k vs 实际 TPOT」曲线,取拐点。经验值:α ≈ 0.7、c ≈ 0.1 时甜点在 k = 4~6;α 掉到 0.6 以下,甜点收缩到 k = 2~3。EAGLE-2 的动态草稿树更进一步——不再固定 k,而是按草稿置信度展开树形候选,验证时一棵树一次算完,等效于「每个上下文自适应 k」,接受长度比固定 k 再涨 10%~20%。
3. 温度与采样对齐。 贪心解码下「接受」意味着草稿 token 就是大模型 argmax,判定严格;温度调高后两边都在采样,分歧概率上升,α 自然下降。投机采样(speculative sampling)用拒绝采样保证输出分布与目标模型严格一致,但这本身会压低接受率。如果业务允许输出近似一致(不在乎分布级对齐),可以用「宽松验证」——概率比值超过某个阈值就接受——拿一点分布偏差换接受长度。这是一笔业务侧要签字的交易。
4. 盯住批大小。 这是最容易被忽略的负向旋钮。投机解码的收益前提是「decode 带宽受限、算力空闲」;当批次被 continuous batching 填满后,大模型验证 k 个位置不再「几乎免费」,k 增大时验证耗时明显上涨,等效 c 变大,最优 k 左移,极端时投机整体变成负收益。高并发服务里常见配置是:批大小低于阈值开投机、超过阈值自动关闭。vLLM V1 调度器设计 里能看到这类按负载动态调整的思路。
5. 别让草稿吃掉 KV cache 预算。 树形草稿一次验证几十上百个候选位置,验证阶段的 KV 读写随之放大,挤占 PagedAttention 省出来的显存池。实践中要限制树的总节点数(常见 60 以内),并在容量规划里给投机留一份显存余量,否则接受长度上去了、并发数下来了,总账还是亏。
这一篇在知识体系里的位置
本篇是「推理加速」线索里对投机解码的定量补完:上游是 投机解码推理加速(机制原理)与 EAGLE 与 Medusa 推测头(草稿生成器的具体形态);同层对照 LLM 服务 TTFT 与 TPOT 指标(接受长度最终要换算成 TPOT 收益才算数)和 PagedAttention(验证树与显存池的预算冲突);下游延伸是草稿树动态展开、投机与 prefill/decode 分离部署的组合调优。
总结
接受长度是投机解码的收益分子:期望加速比 S = (E[t]+1)/(1+k·c) 把「草稿猜得准不准(α)、猜多远(k)、草稿贵不贵(c)」拧成一个公式——调优的本质就是先换强草稿把 α 顶上去,再按负载把 k 调到甜点,并用分桶直方图而非均值验收,最终一切以 TPOT 的端到端改善为准。