多 LoRA 服务:权重合并与分离调度、显存换入换出与批量推理的算子组织
更新时间:2026-09-30。 LoRA(Low-Rank Adaptation,低秩适配)把一个微调的代价从「改整个模型」压成「训两个低秩小矩阵」:对原权重 W 只学增量 ΔW = B·A,A 是 r×d、B 是 d×r,秩 r 常见 8~64。一个 7B 模型的 LoRA 适配器往往只有几十 MB,于是 SaaS 场景很自然出现「一个底座、几千个租户适配器」的部署形态。多 LoRA 服务要回答的就是:这几千个小矩阵怎么和底座一起跑,才能既不爆显存、又不把吞吐拖垮。它是 连续批处理调度器 的进阶篇——批处理解决「请求怎么凑批」,本篇解决「凑进同一批的请求各自挂着不同的权重增量怎么办」;显存部分则与 KV Cache 与推理显存管理 一脉相承。
本文要回答的问题
- 合并(merge)与分离(segregated)两条技术路线各自的代价是什么?
- 成百上千个适配器放哪:显存驻留多少、怎么换入换出?
- 不同 LoRA 的请求凑进同一个 batch,矩阵乘法怎么组织才不退化?
- 调度层面要考虑哪些和单模型不同的新约束?
一、合并与分离:两条路线的根本分野
多 LoRA 服务第一条岔路是什么时候把 ΔW 加进底座。
合并路线(merge-and-serve):请求到来前或到来时,把 W' = W + B·A 物化成一个新权重矩阵,之后就是普通的单模型推理。优点是推理路径零改动,kernel 不用碰;缺点同样硬——每个活跃适配器都要一份完整的层权重副本。以 7B 模型单层 QKV 投影为例,合并后的权重是 FP16 的几百 MB,几十路并发租户就把显存吃光,且每换一次租户要重新做一次逐元素加法,切换延迟在百毫秒级。它只适合「适配器数量少、切换频率低」的场景,比如 A/B 灰度两个版本。
分离路线(segregated / 在线叠加):底座 W 只存一份,推理时对每个请求单独计算 y = x·W + (x·A)·B。x·W 是全体请求共享的大矩阵乘,(x·A)·B 是按适配器分组的小矩阵乘。由于 r 远小于 d,LoRA 部分的计算量通常只占总 FLOPs 的 1%~5%——这才是多租户成立的经济学基础:适配器带来的额外算力开销可以忽略,真正的成本全部转移到显存管理和算子组织两个工程问题上。
| 维度 | 合并路线 | 分离路线 |
|---|---|---|
| 显存占用 | 每活跃适配器一份全量层权重 | 底座一份 + 每适配器几十 MB |
| 切换延迟 | 百毫秒级(重新物化) | 毫秒级(换两个小矩阵) |
| 推理 kernel | 无需改动 | 需要分组/分段 GEMM 支持 |
| 适用场景 | 适配器少、长期固定 | 适配器成百上千、动态路由 |
生产系统(Punica、S-LoRA、vLLM 的 LoRA 支持)无一例外走分离路线,下文讨论都以此为准。
二、显存管理:驻留集、换入换出与统一池
分离路线下,每个适配器虽小(r=16 的 7B 全层 LoRA 约 30~80 MB),但「几千个 × 几十 MB」依然远超单卡显存。结论很直接:显存里只放热适配器,其余躺在主机内存甚至磁盘,按需换入。
S-LoRA 给出的关键设计是把 LoRA 权重和 KV cache 放进同一个统一分页显存池管理,而不是各划一块静态区域。理由和 PagedAttention 与 vLLM 服务化 里 KV cache 分页的动机一模一样:静态预留必然产生内部碎片,适配器的冷热是随流量潮汐变化的,白天热的客服机器人适配器夜里可能完全冷却。统一池 + 分页之后,适配器页和 KV 页用同一套分配/驱逐机制,驱逐策略按 LRU 或其变体(带权 LRU,权重反映换入成本)即可。
换入换出的性能账要算清楚。一次适配器换入 = 从主机内存经 PCIe 拷几十 MB,PCIe 4.0 x16 实测带宽约 25 GB/s,拷 60 MB 约 2.4 ms——但必须和计算重叠:调度器在当前 batch 还在跑 decode 时,就异步预取下一个 batch 要用的适配器,否则这 2~3 ms 是串行插在每个迭代之间的纯气泡。更进一步,冷启动(磁盘上的新适配器第一次被请求)可以做到百毫秒级:先返回底模型的流式输出「垫话」,后台完成加载后在后续 token 悄然切换权重——用户感知不到。
这张图的重点是中间那条「异步预取」边:多 LoRA 系统的吞吐上限往往不卡在算力,而卡在这条 PCIe 通路有没有被流水线掩盖。驱逐方向(热→主机)则保证主机内存始终留有温副本,二次命中时省掉磁盘那一跳。
三、算子组织:把不同权重的请求塞进一个 batch
分离路线最硬核的工程问题是:一个 batch 里 32 条请求分属 8 个不同适配器,怎么一次算完?朴素做法——按适配器把请求分成 8 组,跑 8 次小 batch——会把 GPU 利用率打到地板:每组几条的 GEMM 根本无法喂饱张量核。
Punica 给出的答案是 BGMV(Batched Gather Matrix-Vector / 分段 Gather GEMM)。思路是把 batch 内所有请求的 token 序列拼接成一根长向量,底座部分 x·W 照常做一次大 GEMM(这正是 连续批处理调度器 已经解决的事);LoRA 增量部分按每个 token 所属的适配器建一张索引表,kernel 内部按索引把对应的 A、B 从显存 gather 出来,做 (x·A)·B 的瘦矩阵乘,结果按位置加回底座输出。整个前向仍然是一次 kernel 启动,GPU 看到的依旧是「一根长序列 × 若干小矩阵」,利用率与单 LoRA 几乎持平。
图里左右两条路径汇聚在「逐位置相加」,这正是分离路线的精髓:共享的尽量共享(底座 GEMM 一次),私有的尽量瘦(LoRA 增量按索引 gather)。缩放系数 s = α/r 是 LoRA 训练时定的超参,推理时只是个标量乘法。秩不齐(不同租户 r 不同)时,BGMV 按最大秩对齐、小秩补零,代价是少量浪费的乘加,远好于分桶跑多次。
四、调度新约束与落地清单
多 LoRA 给调度器加了三个单模型时代没有的约束。其一,凑批亲和性:优先把同适配器或已驻留适配器的请求凑一批,能减少 batch 内的适配器种数(BGMV 的 gather 开销随种数增长)和换入次数——这与连续批处理的「先来先服务」存在张力,需要一个带惩罚项的评分函数。其二,预取窗口:调度器必须向显存管理器提前暴露「下一批大概率用谁」,否则异步预取无从谈起;实践上用请求队列的队首快照即可。其三,公平性:长尾租户的冷适配器每次都要付换入成本,调度上要避免它们被热租户无限插队,常见做法是给等待时间加衰老权重。
落地检查清单:底座是否只加载一份且全程不物化合并权重;适配器页与 KV 页是否同池管理;换入路径是否全异步且与计算重叠;BGMV 或等价分段 GEMM 是否覆盖 prefill 与 decode 两个阶段(decode 是 M=1 的 GEMV,更要靠拼批撑宽度);驱逐策略是否带换入成本权重;压测时是否用「千级适配器 + 长尾分布」的真实流量模型,而不是 10 个适配器轮询——后者会把所有显存问题都藏起来。
这一篇在知识体系里的位置
- 上游:连续批处理调度器 解决请求级凑批,本篇在其之上叠加「权重级」的凑批问题;KV Cache 与推理显存管理 讲清单请求显存的大头,本篇把适配器页纳入同一本账。
- 横向:PagedAttention 与 vLLM 服务化 的分页思想被 S-LoRA 直接平移到适配器管理,两者共享同一套驱逐与碎片治理逻辑。
总结
多 LoRA 服务的成立前提是分离路线:底座权重全场只存一份,每个租户的增量 ΔW = B·A 是几十 MB 的低秩小矩阵,推理时按 y = x·W + s·(x·A)·B 在线叠加,额外算力仅 1%~5%;真正的工程全部在两头——显存侧用与 KV cache 同池的分页机制做热适配器驻留和异步预取式换入换出,算子侧用 BGMV 把混合适配器的请求拼成一根长序列一次 kernel 算完,再配上带亲和性与公平性的调度——最终让一块 GPU 同时服务成百上千个微调人格,吞吐逼近纯底座模型。