投机解码草稿长度调参速查:draft token 数 k 的接受率曲线与验证成本平衡
更新时间:2026-10-06。前面 投机解码推理 讲过「小模型起草、大模型验证」的基本循环,投机解码接受率与接受长度 讲过接受率的统计规律。落到部署只剩一个问题:每步让草稿模型生成几个 token(k 取几)?本篇给出直接可用的定值流程。
本文要回答的问题
- k 调大调小各自付出什么代价,收益曲线为什么是先升后降?
- 怎么从自己流量的接受率数据推出最优 k?
- 不同解码场景(聊天/代码/长文)k 的推荐区间是多少?
一、收益曲线:为什么存在最优 k
投机解码每一步的账:草稿模型串行生成 k 个 token(成本约为大模型的 1/10~1/20 每步),大模型一次前向并行验证这 k 个位置,从头接受直到第一个不一致处。期望收益是每步接受的 token 数除以(草稿 k 步 + 验证一步)的总时间。
k 的影响是双向的。调大 k:验证一步的成本几乎不变(大模型前向对序列长度不敏感,直到超出 compute-bound 区间),潜在接受数变多;但接受率是随位置衰减的——草稿第 1 个 token 的接受率可能有 85%,第 5 个位置的条件接受率往往掉到 60% 以下,第 10 个以后更低。期望接受数是这些递减概率的连加,边际收益快速变薄,而草稿成本随 k 线性增长。调小 k:草稿便宜,但验证一步的固定成本摊不薄,加速比天花板低。两股力量交叉出最优 k,通常在 3~8 之间。
衰减的根源值得一句解释:草稿模型和大模型的分布在「高确定性位置」(标点、常见搭配、代码语法)几乎重合,在「内容决策位置」(下一个论点、下一个变量名)分歧最大。草稿越往深走,遇到内容决策位置的概率越高,条件接受率自然一路下滑。这也解释了表 1 里场景间的差异——模板化输出里高确定性位置占比极高,衰减慢,k 才能放到 8;创意写作几乎步步是内容决策,k 超过 4 就在烧钱。
给一个具体的数字例子感受交点:设草稿成本是大模型的 8%(每步),验证固定成本为 1(大模型单步)。k=4 时若 E(4)=2.8,加速比 2.8/(1+0.32)≈2.1;k=8 时若 E(8)=3.4,加速比 3.4/(1+0.64)≈2.07——接受数涨了 0.6,加速比反而降了,这就是过拐点的形态。把这张小账套进自己的实测数字,最优 k 一目了然。
二、从接受率数据定 k:三步流程
第一步,采集逐位置接受率:用真实业务流量跑离线实验,记录草稿第 i 个位置被接受的条件概率 p_i(i=1..15)。大多数引擎可以输出投机统计,vLLM/SGLang 有 per-position acceptance 的调试开关,自托管草稿则自己打点。
第二步,算期望接受数:E(k) = 1 + p_1 + p_1×p_2 + … + 连乘到 p_k(连乘形式是因为第 i 个位置只有在前 i-1 个全被接受时才轮得到验证它)。这个前缀和就是 k 的候选收益曲线,肉眼就能看到它在哪个 k 之后边际增量小于 0.2 token——过了这个点再加 k 基本只付成本不收收益。
第三步,代入成本验证:加速比 ≈ E(k) / (k×草稿单步成本 + 验证成本)。草稿/大模型的单步成本比在 GPU 上实测一次(通常 0.05~0.15),把 E(k) 曲线代进去取最大值点。经验上这个最优点和第二步的「边际增量拐点」相差不超过 1,时间紧可以直接用拐点。注意成本比要实测不能照抄:草稿和大模型是否同架构、是否共享权重、是否开 CUDA Graph,都会让单步成本比移动好几个百分点。
| 场景 | 典型 p_1 | 衰减速度 | 推荐 k |
|---|---|---|---|
| 模板化输出(JSON/代码补全) | 0.85~0.95 | 慢 | 6~8 |
| 日常聊天 | 0.7~0.85 | 中 | 4~6 |
| 创意写作/高温度采样 | 0.5~0.7 | 快 | 2~4 |
| 数学推理长链 | 0.6~0.8 | 中但波动大 | 3~5 |
表的使用姿势:先按场景取中值上线,再用线上统计迭代——线上接受率与离线实验差 5 个百分点以上很常见(流量分布、采样温度差异),上线后每周回看一次 per-position 统计,k 跟着数据走。
三、工程细节与常见误判
三个容易踩的坑。其一,k 和 batch 的交互:大 batch 下大模型的验证前向已经是 compute-bound,此时把 k 从 4 加到 8 会让验证步时长明显变长(要算的位置变多),最优 k 比小 batch 时更小。所以调 k 的实验要在接近线上峰值的 batch 水位做,空载测出来的 k 偏大。
其二,温度对接受率的影响被低估:高温采样下目标模型分布更平,草稿命中难度上升,接受率整体下移。服务如果允许用户调 temperature,k 应对高温请求动态调小,或至少按流量的温度分布取保守值。贪心解码(temperature=0)是另一个极端——此时接受判定退化为精确匹配,接受率最高,k 可以放到区间上限;但别忘了贪心下验证也是确定性的,投机解码的收益结构不变,只是接受率曲线整体上移。
其三,EAGLE/Medusa 类方法的 k 语义不同:树状草稿(EAGLE 与 Medusa 头、树状验证 kernel)的「k」是树的总节点数,接受路径是多分支择优,等效接受长度比链式草稿同 k 高 30%~60%,定值不能套链式的表——树方法里更重要的参数是树的深度和宽度配比,k 反而次要。
验收指标就一个:端到端每 token 延迟(TPOT)相对无投机基线的下降比。H100 上链式投机在聊天流量下的健康加速比是 1.5~2.5 倍;低于 1.3 倍说明 k 或草稿模型有问题(接受率太低或草稿太重),高于 3 倍要怀疑测的是不是模板化流量。别用「平均接受长度」单独验收——它不含成本信息,接受 5 个但草稿花了 10 步是亏的。
最后提一个进阶做法:动态 k。固定 k 是按平均接受率定的,而逐请求的接受难度差异很大——模型开始复述模板时 p_1 能到 0.95,进入开放段落立刻掉回 0.6。一些引擎支持按上一步的实际接受数自适应调整下一步的 k(接受多就加长、被拒就缩短),相当于把调参从离线标定变成在线跟踪,实测比最优固定 k 再好 10%~15%。如果引擎支持,值得作为二期优化;不支持也不要紧,固定 k 按本篇流程定到位,损失就在这个量级以内。
这一篇在知识体系里的位置
本篇是投机解码工程化线的速查:上游 投机解码推理(机制)、投机解码接受率与接受长度(统计规律);同层 投机解码方法全景(选型)、草稿模型训练(接受率的供给侧)、prompt lookup 解码(免草稿模型的替代方案)。
总结
草稿长度 k 的最优值由「逐位置接受率连乘的期望接受数」和「草稿线性成本 + 验证固定成本」的交点决定:链式草稿在聊天流量下通常落在 4~6,模板化输出可放到 6~8,高温采样收到 2~4;定值流程是采逐位置接受率、算 E(k) 前缀和找边际拐点、代入实测成本比取最大值,且实验必须在接近线上峰值的 batch 水位做;验收只看端到端 TPOT 加速比(健康区间 1.5~2.5 倍),不看平均接受长度,树状草稿的 k 语义不同不可套表。