prompt 投机解码:从 prompt 自身找草稿的零成本投机
更新时间:2026-10-01。在 投机解码推理加速:草稿模型与验证 里我们看到,投机解码(speculative decoding)用一个小草稿模型先猜几个 token、再让大模型并行验证,把自回归解码的串行瓶颈拆开。但草稿模型本身是一笔不小的开销:要训练、要驻留显存、要维护与目标模型的分布对齐。prompt lookup 投机解码(prompt lookup decoding)走了一条更轻的路:草稿不从另一个模型来,直接从当前请求的 prompt 里查——命中就是零成本的草稿。本篇讲清这个 n-gram 查表投机的原理、它在 RAG 和代码编辑场景为什么命中率奇高,以及它和 draft model 路线该怎么选。KV cache 侧的容量账见 KV cache 显存管理。
本文要回答的问题
- prompt lookup 投机解码的草稿从哪来?为什么不需要训练任何模型?
- n-gram 匹配具体怎么查、一次猜几个 token?
- 什么样的负载命中率高,什么样的负载几乎没用?
- 和 draft model 投机解码比,各自的开销和加速比差多少?
- 生产部署时怎么把两种投机组合起来?
一、投机解码的瓶颈:草稿从哪来是个成本问题
先回顾一下投机解码的基本盘。自回归解码一步只能出一个 token,而大模型前向一次的开销基本是固定的——验证 k 个候选 token 和生成 1 个 token,耗时几乎一样(decode 是 memory-bound,瓶颈在读权重和 KV cache,不在算)。投机解码利用这个不对称:先用便宜的途径猜出 k 个草稿 token,目标模型一次前向并行验证,接受前几个连续吻合的,一次前向顶过去好几步。加速比 = 平均每轮接受的 token 数,而接受数取决于草稿质量。
问题就出在「便宜的途径」上。主流方案是养一个草稿模型(draft model):同词表、小一两个数量级、蒸馏或对齐训练过。它每猜一个 token 都要自己跑一次前向,有延迟成本;要占一份显存,在 KV cache 显存管理 那种寸土寸金的预算里是实打实的挤出;更麻烦的是分布对齐——目标模型换了、微调了、采样温度改了,草稿模型的接受率就掉,要重新维护。EAGLE、Medusa 这类「在目标模型上加投机头」的方案(见 EAGLE 与 Medusa 投机头 的相关讨论)缓解了显存和训练成本,但还是要改模型、要训练。
prompt lookup 的观察非常朴素:很多负载里,模型要输出的内容在 prompt 里已经出现过。既然出现过,直接用字符串匹配把它找出来当草稿,一次前向都不用跑,一分钱训练成本都没有。
二、工作原理:在 prompt 里做 n-gram 查表
prompt lookup 投机解码的算法可以一句话说完:每生成一个新 token,就拿当前已生成序列的最后几个 token 作为后缀模式,回到整个 prompt(含已生成部分)里找最后一次出现的位置,把该位置后面的连续 k 个 token 当作草稿。
上图是完整的一轮循环。关键点有三个:第一,查找的范围是「prompt 加已生成部分」一整张序列,所以模型自己刚写过的话也能成为后续草稿的来源(代码里重复的模式越写越好猜)。第二,匹配用 token 序列而不是字符,避免分词边界问题;后缀模式长度 n 通常取 2~4,太短误匹配多、太长查不到。第三,验证阶段完全复用标准投机解码的接受逻辑——目标模型一次前向算出 k+1 个位置的分布,从前往后比对,连续吻合的全部接受,第一个分歧处用目标模型的输出修正,然后进入下一轮。数学上和 draft model 版本一模一样,输出分布无损,只是草稿来源换了。
查表本身的开销可以忽略:在几万 token 的序列上做一次后缀匹配,微秒级,相对一次几十毫秒的前向是噪声。vLLM、TGI 等框架把它做成一个配置开关,不需要任何额外模型文件。
三、命中场景:为什么 RAG 和代码编辑是它的主场
prompt lookup 的收益完全由「输出与输入的重复率」决定。重复率高的负载,平均每轮能接受 2~4 个 token,端到端 2 倍上下的加速;重复率低的负载,草稿几乎全被拒,白白多做几轮宽前向,反而轻微变慢。
| 负载类型 | 输出与 prompt 重复度 | 典型命中率 | 加速效果 |
|---|---|---|---|
| RAG 问答(答案照抄检索段落) | 高:大量短语直接引用检索内容 | 高 | 1.5x~2.5x |
| 代码编辑/补全(改少量行,其余原样输出) | 极高:整段代码原样复制 | 极高 | 2x~4x |
| 文档润色/格式转换 | 高:原文大部分保留 | 高 | 1.5x~2.5x |
| 摘要(短输出复述长文) | 中高 | 中 | 1.2x~1.8x |
| 自由对话/创意写作 | 低:内容是新组织的 | 低 | 0.9x~1.1x,可能倒贴 |
两个主场值得展开。RAG 场景(检索增强生成,见 RAG 数据基础设施)里,模型被要求「根据以下资料回答」,答案里的实体、数字、长句往往逐字出自检索段落——prompt lookup 在资料段落里一查一个准。代码编辑场景更极端:让模型「给这个函数加个参数检查」,输出是几百行原代码夹几行新代码,n-gram 命中率极高,草稿经常一次被接受四五个 token。Copilot 类产品把 prompt lookup 作为默认投机手段,吃的就是这口饭。
反过来,开放域聊天里模型的每句话都是新组织的,prompt 里找不到可抄的片段,查表大概率落空。这类负载应该走 draft model 路线,或者干脆不投机。
四、与 draft model 投机对比:零成本对通用性
两条路线共享同一个验证底座,差别全在草稿的成本结构和适用面上:
- 成本:prompt lookup 零训练、零显存、零额外延迟;draft model 要训练对齐、要常驻一份小模型(或改模型加投机头)、每轮多跑几次小前向。
- 通用性:draft model 对任意负载都有正收益,好的草稿模型平均接受长度 2~3 且稳定;prompt lookup 的收益方差极大,完全看负载的重复度。
- 加速上限:在重复型负载上,prompt lookup 因为草稿几乎免费且可以猜得更长(k 取 4~8 不心疼),上限反而不输 draft model;在新内容负载上它没有资格上桌。
- 可组合性:两者不互斥。务实的部署是按路由分流——代码编辑、RAG、格式转换类请求开 prompt lookup;开放对话走 draft model。也有框架支持同轮混合:draft model 猜一段,prompt lookup 命中时优先用查表草稿,取接受率更高者。
五、这一篇在知识体系里的位置
- 投机解码主线:投机解码推理加速:草稿模型与验证——验证与接受的完整数学,本篇只替换草稿来源;
- 产业视角:投机解码与 MoE 推理——EAGLE/Medusa 投机头等更重的草稿路线;
- 显存约束:KV cache 显存管理——为什么「不占显存的草稿」在部署上是硬通货;
- 应用场景:RAG 数据基础设施、LLM 应用之 RAG 实战——prompt lookup 命中率最高的典型负载。
总结
prompt lookup 投机解码把「草稿从哪来」这个问题回答得极简:不训练草稿模型,直接拿当前序列末尾几个 token 作后缀模式,回 prompt(含已生成部分)里查最后一次出现的位置,把其后的连续 k 个 token 当草稿,交给目标模型并行验证——查表零成本、输出分布无损。它的收益完全由输出与输入的重复度决定:RAG 问答、代码编辑、文档改写这类「照抄型」负载命中率极高,能拿到 2 倍上下的加速;自由对话则几乎无效甚至倒贴。与 draft model 路线相比,它用通用性换来了零训练、零显存、零额外延迟,工程上的最优解是按负载路由把两者组合使用。