推理网关路由:多副本 LLM 服务的 KV 感知与 SLO 感知负载均衡
更新时间:2026-10-02。前面的文章把单个副本内部讲透了:Continuous Batching 调度器 讲一个引擎实例怎么把批次填满,PagedAttention 与 vLLM 讲单实例的 KV cache 怎么管。但生产环境从来不是单副本——几十上百个 vLLM/SGLang 实例排成一个集群,请求先到网关,网关决定「这条请求发给谁」。这个决定就是推理网关路由,它影响的颗粒度比实例内调度大得多:路由错了,prefix cache 白存、副本负载倾斜、SLO 违约,单实例优化得再好也补不回来。
本文要回答的问题
- 为什么 Web 服务里用得好好的轮询、最少连接,到了 LLM 推理网关就失灵?
- 路由决策需要副本上报哪些信号?为什么「队列长度」这个经典信号在推理里不够用?
- KV 感知路由(KV-aware routing)是什么,它如何把 prefix cache 命中率变成路由目标?
- SLO 感知调度怎么把 TTFT/TPOT 目标翻译成准入控制和优先级决策?
- 多轮对话粘性、热点副本、prefill/decode 分离部署下,路由层有哪些工程坑?
一、传统负载均衡为什么在 LLM 推理上失灵
先看传统 Web 服务的假设:请求无状态、处理耗时大致同分布、单请求资源占用小而固定。在这套假设下,轮询(round robin)或最少连接(least connections)就够了——任意一台后端处理任意请求,结果一样,差别只在负载均匀度。
LLM 推理把这三条假设全部打破:
- 请求不再无状态。每个副本的显存里都躺着一份 KV cache,其中通过 automatic prefix caching(APC)缓存了历史请求的前缀 KV。一条请求如果命中本副本已有的前缀,prefill 算力可以省掉大半;发到另一台就得从头算。同一条请求,发对副本和发错副本,成本差几倍。
- 耗时长尾且不可预知。输出长度要到生成结束才知道,一条请求可能 50 ms 结束,也可能 30 秒还在 decode。「当前连接数最少」的副本,可能正压着十条长上下文请求,GPU 队列已经排到下一秒之后。
- 单请求资源占用巨大且动态。KV cache 是稀缺资源,一条长请求能吃掉数 GB 显存。副本的真实容量不是「还能开几个连接」,而是「KV 块池还剩多少、running 批次里 decode 压力多大」。
上图概括了假设与现实的错位。错位折算成数字并不小:生产集群的公开工程报告里,把轮询换成 KV 感知路由后,prefix cache 命中率从个位数百分比提到 50% 以上,整体吞吐提升 20%~40%,P99 TTFT(首 token 延迟,Time To First Token)成倍下降。推理网关路由因此不是「顺手做的转发层」,而是集群级吞吐的第一个杠杆。
二、路由层在推理栈里的位置
先把架构摆清楚。一个典型的多副本推理服务分三层:客户端与 API 网关、推理路由器(router)、副本池。路由器可以是独立进程(如 SGLang 的 router、vLLM 生态里的各类 gateway),也可以嵌在网关节点里,职责只有一件事:为每条到达的请求选一个副本,并把选择依据持续校准。
注意上图里信号回传这条回路,它是推理路由器和传统反向代理的本质区别。Nginx 式的代理只需要知道后端活没活着;推理路由器需要每个副本的实时内部状态——running 批次的请求数、waiting 队列长度、KV 块池空闲比例、当前实测 TPOT(相邻两个输出 token 的间隔,Time Per Output Token)。这些信号通常通过 HTTP 指标端点或心跳通道以秒级甚至亚秒级频率上报。
决策频率的尺度也值得记住:路由决策在请求到达时做一次,毫秒级;实例内的 continuous batching 调度在每个 decode step 做一次,十毫秒级。两层调度各管各的,但路由层给错了副本,实例内调度再精细也救不回那条请求的体验。
三、路由决策的输入:副本该上报什么信号
要做对选择,先要知道每个副本「现在有多忙」。可用的信号按信息量从弱到强排:
- 在途请求数(in-flight count):最便宜的信号,但也是误导性最强的。十条短请求和十条 32K 长上下文请求,在途数相同,负载天差地别。
- waiting 队列长度:waiting 非零说明副本已经塞满,新请求进去必排队。这是个好的否决信号,但 waiting 为零不代表轻松——running 批次可能已经很大,decode 阶段的 TPOT 正在劣化。
- KV 块池空闲比例:PagedAttention 体系下最诚实的容量信号。空闲块够 prefill 所需,这条请求才有可能立刻上车;不够就只能等。对应 PagedAttention 与 vLLM 里讲的 free list 余量。
- 实测 TPOT / 批次 decode 吞吐:直接反映延迟体验的信号。GPU 是带宽受限的 decode 阶段,批次越大单步越慢,TPOT 随 running 规模单调劣化——用实测值比用请求数估计准得多。
- prefix cache 命中预估:对这条具体请求,该副本的 APC 缓存里命中多少前缀 token。这是 KV 感知路由的专属信号,下一节展开。
工程上的一个关键权衡是信号的新鲜度与开销。上报太稀疏(比如 10 秒一次),尖峰流量下路由器看到的全是过期快照,会把请求连续打到刚被打满的副本上;太频繁则控制面开销上升。主流实现折中在 1 秒左右,外加「请求完成时主动回调」做事件驱动的修正。
上图把五种信号和各自用途对齐。实际实现几乎总是多信号加权:先用 waiting 和 KV 余量做硬性过滤(塞不下的直接出局),再在幸存副本里用 TPOT 预测和前缀命中做打分排序。
四、KV 感知路由:把 prefix cache 命中率变成路由目标
KV 感知路由(KV-aware routing)的核心思想一句话:把请求发到已经存着它前缀 KV 的副本上,让 prefill 尽量少算。
为什么这笔账很大?系统提示词动辄上千 token,多轮对话的历史轮次更长。一条 4000 token 前缀、只生成 200 token 的请求,如果前缀 KV 命中,prefill 只需算增量部分;不命中就要把 4000 token 全部重算——prefill 是算力密集型,这一来一回差的是几十倍的 GPU 时间。而 APC 缓存是每个副本本地的:副本 1 缓存的前缀,副本 2 用不上。轮询等于主动放弃这个局部性,把每条请求的前缀命中交给运气。
实现上先要解决「路由器怎么知道哪个副本缓存了什么」。直接让副本上报全部缓存内容不现实,工程上有三档做法:
| 方案 | 机制 | 优点 | 代价 |
|---|---|---|---|
| 路由器本地重建索引 | 记录每条历史请求发给了谁,用前缀树(radix tree)按 token 前缀匹配 | 副本零改造,决策全在路由器 | 索引与副本真实缓存有偏差(副本会淘汰) |
| 副本上报缓存摘要 | 副本周期性上报 APC 缓存的前缀指纹/布隆过滤器 | 命中预估准 | 上报带宽与一致性维护成本 |
| 一致性哈希按前缀分片 | 对前缀哈希选副本,天然同前缀落同副本 | 实现最简单 | 负载倾斜时无法纠偏,热点前缀打爆单副本 |
打分逻辑通常长这样:对每个候选副本计算「命中前缀 token 数 ÷ 总前缀 token 数」得到命中率,再结合负载信号加权——命中率差不太大时选更闲的副本,命中率差很大时宁愿让闲副本等着、也要把请求发给缓存持有者。这个「宁愿不平衡也要保局部性」的取舍,是 KV 感知路由和传统负载均衡哲学上最大的分歧:传统负载均衡把均匀当目标,KV 感知路由把集群总 prefill 算力最省当目标,均匀只是约束条件。
上图中请求在副本 1 的命中率是 95%,增量 prefill 只有 200 token;发去副本 2 等于把 4000 token 的算力账单重新买一遍。SGLang router 的公开基准里,这类决策让多轮对话负载的 TTFT 均值下降约一半,这就是「路由当缓存调度器用」的收益。
五、SLO 感知调度:把延迟目标翻译成路由决策
KV 感知解决「省算力」,SLO 感知解决「守承诺」。生产服务对外承诺的是延迟指标:TTFT 不超过几百毫秒、TPOT 不超过几十毫秒(背景见 LLM 服务 TTFT 与 TPOT SLO)。SLO 感知调度(SLO-aware scheduling)把这些目标变成路由层的两类决策:
准入控制(admission control)。路由器估算「这条请求发到副本 i 后,副本 i 的 TTFT/TPOT 预测值是否还守得住 SLO」。预测可以很简单:waiting 非零就估算排队时间,running 规模超过某阈值就预判 TPOT 劣化。所有副本都守不住时,正确动作不是硬塞,而是排队等待或返回过载——硬塞的结果是全副本一起劣化,正在服务的一千条请求陪着新来的一条一起违约。这和单实例内 vLLM V1 调度器设计 的准入逻辑同构,只是发生在集群尺度。
优先级与分级服务。不同租户、不同请求类型(交互式对话 vs 离线批处理)有不同的 SLO。路由器按优先级分层:高优请求永远发当前最闲的副本,低优批处理请求填充副本的空闲缝隙。更激进的实现还会在路由层做副本分组——一部分副本专供低延迟交互流量(小批次上限保 TPOT),另一部分专跑高吞吐离线流量(大批次上限堆吞吐),两类负载的调度目标天然冲突,混在一起谁都服务不好。
上图是完整的路由决策流水线:先过滤、再打分、最后做 SLO 校验。注意最后一步的「拒绝」分支——这是推理网关和 Web 网关的又一处分歧。Web 服务拒绝请求是故障;推理服务里,恰当地拒绝是维持 SLO 的必要手段,容量规划(见 推理服务容量规划)要做的正是让这种拒绝尽量少发生。
六、工程落地的五个坑
理论说完,落地时有几个反复出现的坑值得提前知道。
多轮对话的粘性(session affinity)。多轮对话的下一轮请求天然带全部历史,KV 感知路由会倾向发回原副本。但「倾向」不等于「绑定」——原副本打满时,宁可牺牲命中率也要换副本,否则用户在排队,旁边副本却在空转。实现上粘性应该是打分里的一个权重项,不是硬绑定规则。
热点前缀击穿单副本。全公司共用同一个超长系统提示词时,一致性哈希式的分片会把所有请求钉在同一个副本上。对策是给热点前缀在多个副本上主动复制缓存(副本数随热度弹性扩),把「一份缓存服务全集群」变成「k 份缓存分摊」。
信号过期导致羊群效应。路由打分基于 1 秒前的快照时,一波并发到达的请求会看到同一个「最闲副本」,全部涌过去把它瞬间打满。工程解法是在打分上加随机扰动或按预测占用量即时扣减本地视图(发了就先在本地记账),不等副本下次上报。
与 prefill/decode 分离部署的接口。在 PD 分离架构(背景见 PD 分离推理集群)里,路由器要做两级选择:先选 prefill 节点,再选 decode 节点,KV cache 还要跨节点搬运。KV 感知的价值在这种架构里进一步放大——选错 prefill 节点意味着缓存白建,选错 decode 节点意味着跨节点 KV 传输白跑一趟。
路由层自身成为瓶颈与单点。每条请求都过路由器,决策必须毫秒级完成,前缀树匹配、打分排序都不能上重逻辑;同时路由器本身要做主备,否则一个无状态转发层挂掉,整个集群的有状态副本全部失联。好的一面是路由器无状态,扩缩容和主备切换都比副本简单得多。
这一篇在知识体系里的位置
本篇属于「推理服务化」线索的集群层:上游是单实例机制——Continuous Batching 调度器(实例内批次调度)、PagedAttention 与 vLLM(KV 块池与 APC 的来源)、KV cache 与推理显存(KV 为什么是瓶颈资源);同层对照 LLM 服务 TTFT 与 TPOT SLO(SLO 指标定义)和 推理服务容量规划(副本数怎么定);下游延伸是 PD 分离推理集群(路由器升级为两级调度)与 MoE 专家并行下的专家级路由。
总结
推理网关路由是在请求到达时为它选择副本的毫秒级决策,传统轮询在 LLM 场景因 KV cache 局部性丢失、队列深度不可见、容量信号失真而浪费三成以上吞吐;正确的做法是以副本上报的 KV 块余量、waiting 队列、实测 TPOT 和前缀命中预估为输入,先过滤满员副本、再按「集群总 prefill 算力最省」做 KV 感知打分、最后用 SLO 预测做准入校验——把负载均衡从「追求均匀」升级为「追求算力最省与延迟承诺双达标」。