缓存感知路由:LLM 网关结合 prefix cache 的分发策略、收益测算与负载均衡的权衡
更新时间:2026-10-06。前面 LLM 路由器负载均衡 讲过网关按并发数、队列深度做负载均衡的基本策略,前缀缓存与 prompt 复用 讲过推理引擎内部的 prefix cache 怎么省掉重复 prefill。把这两件事拼起来就出现一个明显的机会:路由决策时如果知道哪个副本缓存了哪些前缀,就可以把请求送到命中率最高的副本上。这就是缓存感知路由(cache-aware routing)。它不改变单个引擎的任何行为,却能把整个集群的 TTFT(首 token 时间)和 prefill 算力消耗同时压低——代价是引入负载倾斜这个新敌人。本篇讲清策略原理、收益怎么测算、倾斜怎么治。
本文要回答的问题
- 随机/轮询路由在 prefix cache 面前浪费了多少算力?
- 缓存感知路由的几种主流策略分别怎么做,精度和成本差多少?
- 局部性收益和负载均衡损失的量化权衡怎么算?
- 工程落地时缓存状态怎么同步、热点副本怎么保护?
一、浪费从哪来:随机路由下的缓存命中率天花板
先回顾 prefix cache 的经济学。多轮对话、RAG 系统提示词、few-shot 模板这些场景里,请求之间共享大段前缀,引擎把已算过的前缀 KV 留在显存里,命中时整段 prefill 免算。一个 4000 token 的系统提示,命中后 prefill 只剩最后几十 token 的用户输入,TTFT 从几百毫秒降到几十毫秒,算力消耗差一个量级。
但 prefix cache 是副本私有的。一个 8 副本的 vLLM/SGLang 集群,每个副本各自缓存自己见过的前缀。网关如果用轮询或随机路由,同一个会话的第二轮请求有 7/8 的概率落到没有缓存的副本上,等于缓存命中率被副本数直接摊薄。缓存的显存花了,收益却拿不到——这是随机路由的隐性浪费。
上图的核心对比:随机路由下命中率是缓存副本数的倒数,缓存感知路由把命中率拉回缓存覆盖率的理论上限。前缀越长、副本越多,浪费越惊人。这就是集群规模越大越需要缓存感知路由的原因——副本数 N 涨一倍,随机路由的命中率就再砍一半,而引擎侧缓存容量投入分毫未减。
二、三种策略:从会话粘连到全局前缀树
工程上缓存感知路由按「知道多少缓存信息」分三档,成本递增、收益也递增。
第一档是会话粘连(session affinity):按会话 ID 哈希路由,同一会话永远落同一副本。实现最简单(网关零状态之外的逻辑),多轮对话场景收益立竿见影;缺点是完全感知不到跨会话的共享前缀(比如大家都用同一个系统提示词),且长会话会让副本负载漂移。这里有一个细节:会话 ID 哈希要配合会话黏性 TTL——用户关掉页面半小时后回来,原副本的缓存很可能已被驱逐,此时继续粘连反而把请求钉在一个缓存已冷、负载还偏高的副本上。工程做法是给粘连映射设 10~30 分钟过期,过期后按第三档的成本加权重新选副本。
第二档是前缀匹配路由:网关维护每个副本的缓存摘要,把请求按「哪个副本缓存了最长匹配前缀」分发。SGLang 的 RadixAttention 配套路由器就是这一路:路由器自己也维护一棵近似的前缀树(Radix Tree),记录每棵子树在哪个副本上,新请求来了做最长前缀匹配后定向。对 RAG、Agent 工具调用这类跨会话共享大段前缀的场景,这一档才是完整解法。前缀树的插入和匹配都以 token 序列为键,粒度通常对齐引擎的 block 大小(16 或 32 token),不做逐 token 的细粒度记录——这棵树只是真实缓存的近似镜像,粒度对齐 block 能把内存开销压到每百万请求几百 MB 以内,同时匹配精度的损失不足一个 block 的前缀长度,可以忽略。
第三档是成本加权调度:在前缀匹配的基础上叠加实时负载信号——不止问「谁缓存得最多」,还问「谁现在最闲」。这是生产系统真正用的形态,下一节展开。
| 策略 | 网关状态开销 | 跨会话前缀利用 | 负载感知 | 适用场景 |
|---|---|---|---|---|
| 轮询/随机 | 无 | 无 | 无 | 基线对照 |
| 会话粘连 | 每会话一条映射 | 无 | 弱 | 纯多轮对话 |
| 前缀匹配 | 近似前缀树 | 完整 | 弱 | RAG/共享模板 |
| 成本加权 | 树 + 负载信号 | 完整 | 强 | 通用生产 |
三、收益模型与倾斜代价:一笔要算清的账
缓存感知路由的收益公式很直白:每命中 1 token 前缀,省下 1 token 的 prefill 计算。设集群平均请求前缀共享度为 p(共享前缀占输入长度的比例),随机路由命中率近似 1/N(N 副本数),前缀匹配路由命中率趋近 p。一个 p=0.6、N=8 的 RAG 集群,理论 prefill 算力节省从 7.5% 跳到接近 60%——同样的硬件能多扛 2~3 倍的 prefill 流量,或者把 TTFT 的 P90 砍掉一半以上。
代价写在另一边:定向分发破坏了负载均衡的随机性。热门前缀(爆款系统提示、热点文档的 RAG 上下文)会把大量请求吸到持有它缓存的少数副本上,这些副本队列变深、TTFT 反而变差;而其他副本闲着。局部性收益和均衡损失随流量分布倾斜度此消彼长,这就是成本加权调度要解的优化问题。
经验上倾斜度和流量构成强相关。流量里共享前缀占比越高、前缀长度方差越大,定向带来的倾斜越严重;反过来请求彼此独立、几乎无共享前缀时(比如纯翻译 API),缓存感知路由退化成分布不均的随机路由,只有成本没有收益——所以这套策略不是银弹,先测自己流量的前缀共享度 p 再决定要不要做。测量方法很简单:抽样一天请求,两两计算最长公共前缀长度占比,p 低于 0.2 的流量做会话粘连就够了,不值得上前缀树。
另外倾斜还有一个隐蔽来源:缓存写入本身也是负载。一个新前缀首次出现时,哪个副本接住它就要付完整 prefill 成本并占用缓存显存。如果路由器总是把新前缀发给当前最闲的副本,而热点前缀又总是从少数副本上「长」出来,时间一长缓存分布会自发两极分化。对策是在打分函数里给「创建新缓存」记一笔小额成本,鼓励新前缀分散落盘,让热点有机会在多个副本上各存一份——同一前缀缓存两份后,打分函数天然会把流量在两者之间再均衡一次。
打分函数是这套系统的灵魂。一个可用的朴素形式是:score = 匹配前缀长度 × 单 token prefill 成本 − 目标副本预估排队延迟,取 score 最大者。它的含义很直觉——命中收益大到能覆盖多排一会儿队,就去;覆盖不了,就去最闲的副本。实战里这个公式让热点副本的队列自然停在「多排的队刚好被缓存收益抵消」的水位,是兼顾两者的帕累托点。
把数字代进去感受一下量纲。H100 单副本对 7B 模型的 prefill 吞吐大约在每秒数万 token 量级,折算下来单 token prefill 成本约几十微秒;命中 4000 token 前缀大约等效节省 100~300 毫秒。也就是说只要目标副本的预估排队延迟低于这个数,定向就是赚的——这解释了为什么缓存感知路由在中低负载集群上几乎总是正收益,只有在副本普遍排长队的高负载期,打分函数才会频繁地把请求分流到无缓存但空闲的副本上,行为自动退化回负载均衡。这种「负载越高越像轮询」的自适应正是想要的性质。
调参上只有一个旋钮真正重要:排队代价的权重系数。系数调大,系统更保守、更接近纯负载均衡,缓存收益打折;调小,热点副本吸流更狠,TTFT 的尾部(P99)可能变差但均值更好。灰度期的标准做法是把系数从大到小阶梯下调,盯住 P99 TTFT 和 prefill 总吞吐两条曲线,取 P99 开始恶化前的最后一个台阶。
还有一个容易漏算的二阶效应:驱逐。副本的缓存显存有限,被定向灌入大量不同前缀的热门副本会更频繁地驱逐旧缓存(KV cache 驱逐策略 里讲的 LRU/频率权衡在这里同样适用),驱逐又降低后续命中率。好的路由器会把「这个副本最近驱逐率高」也计入负载信号,避免对同一副本过度自信地持续导流。
四、工程落地:状态同步、一致性与灰度
把策略变成系统还有三道工程坎。
第一道是缓存状态的近似同步。网关不可能拿到副本缓存的精确快照(每秒都在变,且引擎内部是 block 级管理),可行的做法是路由器维护「写侧镜像」:凡是自己路由过去的请求,就把其前缀按路由结果记录进本地近似树;副本侧定期上报驱逐摘要做修剪。镜像和真实缓存会有偏差,但前缀匹配是收益估算,偏差的代价只是一次次优路由,不是错误。多网关实例部署时还要注意:每个网关各自维护镜像会把同一会话的请求路由到不同副本(各自镜像不一致),要么让网关无状态化、把前缀树放到共享存储(Redis 一类的结构,接受其延迟),要么用会话一致性哈希把同一会话固定到同一网关实例。
第二道是扩缩容时的状态迁移。副本下线,它独占的缓存前缀映射要立刻摘除,否则请求被路由到死副本;新副本上线,缓存是冷的,应该在打分里给冷副本一个「预热折扣」,让它先接低优先级流量攒缓存,而不是立刻按零负载猛灌。SGLang Radix 前缀缓存 的路由器实现里专门处理了这两种生命周期事件,可以直接参考。
第三道是灰度与回退。缓存感知路由改变的是流量分布,上线初期务必保留按权重回退到纯负载均衡的开关,并对比两组副本的 TTFT 分位数和 prefill token 吞吐。观测指标上,除了命中率,还要看「命中收益的分布」——如果收益集中在少数大客户前缀而普通流量被挤到热点副本排队,整体 P99 可能是恶化的,这时要调打分函数里排队代价的权重而不是回退整个策略。
最后一个边界情况值得点名:多租户混布时,缓存感知路由可能意外制造租户间的性能耦合——大客户的超长共享前缀吸走副本容量,小客户的请求被打分函数反复分流到冷副本。如果服务有租户级 SLO,需要在打分函数里加租户维度的公平性约束,或者给大前缀租户划专用副本池,把缓存感知限定在池内。这也是 LLM 服务 TTFT/TPOT SLO 里讲的 SLO 分级在路由层的具体投影。
这一篇在知识体系里的位置
本篇是推理服务化系列里「调度层」与「缓存层」的交叉点:上游是 LLM 路由器负载均衡(路由器的负载信号体系)和 前缀缓存与 prompt 复用(缓存本身的机制);同层对照 SGLang Radix 前缀缓存(前缀树的引擎侧实现)、continuous batching 调度器(副本内部的排队机制)、KV cache 驱逐策略(定向导流引发的驱逐问题)。
落地顺序建议:先上会话粘连(一天工作量、多轮场景收益立刻可见),再上前缀匹配(吃跨会话共享红利),最后把负载信号叠进打分函数做精细化。每一步都用 TTFT 分位数和 prefill 吞吐的对比数字说话,不要一次性跳到终态。
总结
缓存感知路由的本质是把 prefix cache 的副本私有性暴露给网关:随机路由把命中率摊薄到缓存覆盖率的 1/N,会话粘连解决同会话复用,前缀匹配路由用路由器侧的近似前缀树吃下跨会话共享前缀,成本加权调度再用「命中收益 − 排队代价」的打分函数在局部性和负载均衡之间找帕累托点——p=0.6、8 副本的集群 prefill 算力节省可从 7.5% 拉到 60% 量级,代价是要处理好状态近似同步、扩缩容冷启动和热点驱逐三个工程问题。