MoE 专家并行推理服务化:All-to-All 通信、热点专家与负载均衡调度全解
更新时间:2026-10-01。在 MoE 路由机制 里我们讲过门控网络怎么给每个 token 挑出 top-k 个专家,那一篇的视角是「模型结构」;在 张量并行通信重叠 里学过 AllReduce 怎么藏进计算背后。这一篇把视角切到「推理服务」:当 Mixtral、DeepSeek-V3、Qwen-MoE 这类稀疏模型要上线扛真实流量,几十个甚至几百个专家放不进一张卡,就必须把专家切到多张卡上——这就是 MoE 专家并行(Expert Parallelism,EP)。EP 引入的 All-to-All 通信、路由天然倾斜造成的热点专家、容量因子与丢 token 的三角矛盾,是 MoE 服务化区别于稠密模型部署的三道坎,本文逐一拆账。
本文要回答的问题
- 专家并行的数据流长什么样,为什么一次 MoE 层前向要两次 All-to-All?
- All-to-All 和 AllReduce 的通信特性差在哪,为什么 EP 通常跨机而 TP 留在单机?
- 容量因子(capacity factor)是什么,调大调小各自牺牲什么?
- 热点专家从哪里来,辅助 loss 在推理期还有用吗?
- 专家复制、专家迁移、动态调度这三种负载均衡手段怎么选?
一、专家并行的数据流:dispatch 与 combine 两段 All-to-All
MoE 层的结构回顾一句:每个 token 经过门控(gate)得到 top-k 个专家编号,只被送进这 k 个专家做 FFN 计算,其余专家对它是「透明」的。一个 256 专家的模型,每 token 只激活 8 个,激活参数量只有总量的 3%——稀疏性带来计算量的节省,但代价是token 和专家在物理上必须见面。
专家并行的摆法很直白:E 个专家均分到 P 张卡上,每卡持有 E/P 个专家的完整权重。于是一个 batch 的 token 在本卡上算完 Attention 之后,要按路由结果「换卡」——目标专家在哪张卡,token 的激活就得发去哪张卡。这个「按目的地重排数据」的通信原语正是 All-to-All:每张卡既向所有卡发数据,也从所有卡收数据。
上图是 EP 数据流的标准五拍:路由 → dispatch(散发)→ 本地专家 FFN → combine(回收)→ 加权求和。注意 combine 不是简单逆转 dispatch——每个 token 被复制给了 k 个专家(可能在不同卡上),combine 阶段每份专家输出都要送回原卡,原卡把 k 份按门控权重加权加起来。所以 dispatch 的通信量是 k × tokens × h,combine 同量级,一个 MoE 层两次 All-to-All 合计约 2 × k × tokens × h × sizeof(dtype) 字节每卡。以 h=7168、k=8、单卡 4096 token、BF16 估算,单层两段合计每卡收发约 940 MB——MoE 模型的通信强度远高于同激活量的稠密模型,这是 EP 的第一本账。
二、All-to-All 与 AllReduce 的特性差异:为什么 EP 敢跨机
第二节先回答一个反直觉的问题:AllReduce 那么怕跨机(TP 要锁死在 NVLink 域内),All-to-All 为什么反而常被放到跨机的 IB/RoCE 网络上跑?原因在于两者的通信模式不同。
AllReduce 是全体到全体的归约,ring 实现要走 N-1 步,每步延迟叠加,对延迟极其敏感;NVLink 域内单步延迟几微秒,跨机 IB 单步涨到几十微秒,整圈下来差距放大 N 倍。All-to-All 则是点对点直发:卡 i 直接往卡 j 发它该收的那份,一跳到位、没有步进放大,对延迟的敏感度低一个量级,瓶颈主要在聚合带宽。而推理服务化场景恰好有另一个变量——EP 跨卡之后每张卡要容纳的专家份数减少,单卡显存压力骤降,为了放下 256 个专家的权重,EP 组开到 32、64 卡很常见,这本来就不可能塞进单机。
| 维度 | AllReduce(TP) | All-to-All(EP) |
|---|---|---|
| 通信模式 | 全体归约,ring 走 N-1 步 | 点对点直发,一跳到位 |
| 延迟敏感度 | 高(步进叠加放大) | 低(无步进) |
| 带宽需求 | 每卡收发 ≈ 2×消息量 | 每卡收发 ≈ 消息量×(P-1)/P |
| 消息均匀性 | 天然均匀 | 取决于路由分布,天然倾斜 |
| 典型部署域 | 单机 NVLink(≤8 卡) | 可跨机 IB/RoCE(8-64 卡) |
表里最后一行是实战高频结论:TP 留单机、EP 跨机、DP 包最外层的三明治结构。EP 组内的卡之间 All-to-All 走 IB 的聚合带宽还能撑,但若把 TP 也跨机,AllReduce 的延迟会把每层拖垮。DeepSeek-V3 的部署白皮书就是这个结构:EP 320 跨节点扛 256+ 路由专家,TP 仅在节点内使用。
不过 All-to-All 有一个 AllReduce 没有的软肋:消息大小不均匀。AllReduce 每张卡每步收发一样多,All-to-All 的消息量等于「路由到目标卡专家的 token 数」——路由天然倾斜(下一节展开),于是 All-to-All 的完成时间由最重的那对收发决定,慢的卡拖住整个 EP 组。通信倾斜和计算倾斜同源,这就是负载均衡问题要从通信侧和算力侧一起看的原因。
三、容量因子与丢 token:EP 的硬预算
路由把 token 分给专家是随机的,但每张卡上专家 FFN 的 GEMM 需要形状固定的输入——kernel 启动前就得知道「本卡这批要算多少 token」。工程做法是给每个专家设一个容量上限 C,超出 C 的 token 直接丢弃(或走残差旁路跳过专家),这个 C 相对均匀分配的比例就是容量因子(capacity factor,CF):
C = CF × (总token数 × k / 专家总数)CF=1.0 意味着每个专家的容量恰好等于「路由完全均匀时的期望值」,任何高于期望的波动都会触发丢弃;CF=1.5 留出 50% 的缓冲,丢弃率大降,但每张卡要按峰值容量分配显存、GEMM 也要按 C 做 padding——容量就是钱,CF 每加 0.1,显存预算和无效 padding 计算都跟着涨。
推理服务化和训练在这个旋钮上的取向截然不同。训练丢 token 只是梯度噪声,CF 压在 1.0-1.25 换吞吐;推理丢 token 意味着这个 token 的 MoE 层直接短路,输出质量肉眼可见地掉,且掉得不均匀——长 prompt 后段的 token 更容易被丢(前面 token 已占满容量)。所以线上服务普遍两选一:要么 CF 开到 1.5-2.0 硬扛,要么用「无丢弃」调度——超限 token 不丢,排进下一个微批再算,用排队延迟换质量。vLLM、SGLang 的 MoE 实现都走了后者路线,配合 连续批处理调度 把排队 token 织进后续迭代。
容量因子还有一层隐性成本:按 C 做静态 padding 之后,GEMM 的实际负载是「真实 token 数 / C」的利用率。CF=2.0 而路由又比较均匀时,专家 GEMM 一半在算 padding 零——这就是为什么分组 GEMM(grouped GEMM,按各专家真实 token 数动态拼接的变长 GEMM)成了 MoE 推理引擎的标配,它把静态容量预算退化成「峰值保护」而非常态开销。
四、热点专家:从哪来、怎么测、为什么是服务化头号敌人
门控路由不是均匀骰子。训练收敛后的 MoE 路由分布有两类系统性倾斜:
- 语义聚集:某些专家在训练中学到了高频模式(代码括号、常见词组、数字格式),线上流量里命中它们的 token 比例可能是均值的 5-10 倍;
- 流量聚集:服务真实负载本身有偏——白天中文请求多、夜里英文批任务多,不同语言/任务的路由分布差异直接映射到专家热度上,且随时间漂移。
热点专家的杀伤力在于它是乘法效应:一个专家热,意味着它所在的那张卡 All-to-All 收发量最大、专家 GEMM 最长、combine 返回最慢,而整个 EP 组按最慢卡同步——一张卡热,全组陪跑。实测里 10% 的热点偏移就能吃掉 20%-30% 的端到端吞吐,这是 MoE 服务 GPU 利用率普遍低于稠密模型的首因。
训练期的药方是负载均衡辅助 loss(对路由分布加均匀性惩罚),DeepSeek-V3 还用了无 loss 的 bias 调整——给过热专家的门控打分加个负偏置、冷专家加正偏置,逐 step 微调。但推理服务期这些机制鞭长莫及:模型权重冻结,路由分布是流量决定的,辅助 loss 救不了线上。服务化必须有自己的一套均衡手段,这是下一节的主题。
先讲怎么测。三个指标足够定位问题:每专家的 token 命中率直方图(看倾斜程度)、每卡 All-to-All 收发字节的最大/均值比(看通信倾斜)、每卡 MoE 层耗时的 P99/中位比(看算力倾斜)。三个指标同源但视角不同,建议都采——只看命中率会漏掉「专家热度均匀但 top-k 组合把 token 挤到同一张卡」这类组合型热点。
五、负载均衡三板斧:专家复制、专家迁移、调度感知路由
服务期不动权重,均衡手段就只能在「专家怎么摆、token 怎么送」上做文章。工程上收敛出三板斧。
手段一:专家复制(expert replication)。给最热的若干专家在负载轻的卡上放只读副本,路由到该专家的 token 按各副本的实时负载分流。复制的精妙之处在于它不违反 EP 的语义——token 找的是「专家」而不是「卡」,同一个专家有两份权重副本,去哪份算结果都一样。成本是显存:每复制一份热专家,就多占一份权重空间,好在 MoE 模型省下的激活显存通常付得起几十个副本。DeepSeek-V3 推理部署的「冗余专家」策略就是这个思路,按在线统计动态挑选要复制的专家集合。
手段二:专家迁移(expert migration)。周期性地(分钟级到小时级)重新求解「专家 → 卡」的放置问题:以历史命中率为输入,把专家摆放重排成卡级负载最均匀的组合,然后热切换。迁移解决的是分布整体漂移(比如流量结构从英文问答切到代码生成),不重排的话复制再多也追不平。难点在切换过程不能断服,新副本加载完才能切流量,权重搬运本身也是一笔带宽开销。
手段三:调度感知路由。token 的 top-k 门控打分里往往第 2、3 名的专家得分接近——既然如此,路由决策可以参考各专家当前的排队深度,把 token 导向「分够用且不忙」的专家。这是对路由结果的轻量扰动,不改权重、不动摆放,专治秒级突发抖动;代价是绕路的 token 用了次优专家,扰动幅度必须设阈值,否则质量受损。
| 手段 | 生效速度 | 持续时间 | 主要成本 | 适用病灶 |
|---|---|---|---|---|
| 专家复制 | 分钟级 | 长期 | 显存 | 少数专家长期极热 |
| 专家迁移 | 十分钟-小时级 | 长期 | 切换带宽与工程复杂度 | 流量分布整体漂移 |
| 调度感知路由 | 毫秒级 | 瞬时 | 轻微质量扰动 | 短期突发拥堵 |
三板斧不是互斥选项,是叠加使用:调度感知路由打底吸收抖动,复制策略追平常态热点,迁移机制兜底长期漂移。生产系统里三者共用一个热度统计管道,按时间尺度分层触发。
六、EP 度数与并行搭配:服务化拓扑怎么定
最后一个决策问题:EP 开多大、和 TP/DP 怎么搭。决策链条按顺序过四道关。
第一关显存:EP 组至少要能放下全部专家权重,(总专家参数量 / EP度数 + 共享参数) < 单卡显存。671B 的 DeepSeek-V3 级别模型,EP 不开到 16 以上根本放不下;8B 激活的小 MoE,EP=8 就很从容。第二关通信:EP 度数越大,All-to-All 横跨的节点越多,单跳直发不变但拥塞概率上升,超过一个 IB 胖树单层(通常 32-64 卡)后收益递减。第三关专家粒度:EP 度数最好整除专家数,且每卡至少留 2-4 个专家——每卡只剩 1 个专家时,该卡的负载方差最大、复制策略也没有腾挪空间。第四关与 TP 的边界:TP 域锁在 NVLink 内(≤8),EP 域可以跨机但组内 All-to-All 延迟要实测,DP 包最外层只做多副本扩吞吐。这套「TP 内、EP 中、DP 外」的同心圆结构与 多 GPU NVLink 互联 的带宽层级是一一对应的。
prefill 和 decode 两个阶段对 EP 配置的要求还不一样:prefill 的 token 批大、All-to-All 消息大,带宽受限,EP 可以开大;decode 每步 token 少、消息小,延迟敏感,更适合把 EP 收小、用 DP 多副本扛并发。前沿部署(如 DeepSeek 的 PD 分离架构)干脆给两个阶段各配一套不同的 EP 拓扑,中间用 KV cache 传输衔接——这与 KV cache 显存管理 里讲的分离式部署是同一脉络。
常见坑
- 照搬训练的 CF=1.0 上推理,长 prompt 后段 token 大量被丢,输出质量诡异下降还查不出原因——推理期 CF 至少 1.5 或干脆无丢弃排队。
- 只按显存放得下就定 EP 度数,没测 All-to-All 实际延迟,EP 跨了两个 IB 层级后每层通信翻三倍。
- 热度监控只看专家命中率,漏掉组合型热点——top-k 的几个专家恰好同卡,命中率都正常但该卡照样拥堵。
- 专家复制策略不设上限,热专家副本越加越多,显存被副本吃光,反而容不下新请求。
- 调度感知路由的扰动阈值开太大,大量 token 被导向次优专家,吞吐上去了、评测集分数掉了。
- prefill 和 decode 共用一套 EP 配置,decode 阶段小消息 All-to-All 延迟占满整步时延,TPOT 劣化明显。
这一篇在知识体系里的位置
- 模型结构上游:MoE 路由机制 讲门控、top-k 与辅助 loss 的训练期设计,本篇讲的容量因子与热点专家正是那些设计在服务期的投影。
- 通信方法论同源:张量并行通信重叠 的「藏通信」三板斧对 All-to-All 同样适用,dispatch 与本地专家计算的重叠是 MoE 推理引擎的标配优化。
- 硬件底座:多 GPU NVLink 互联 给出 NVLink 与 IB 的带宽延迟层级,本篇 TP 内 EP 外的拓扑原则直接由此推出。
- 服务化下游:连续批处理调度 与 KV cache 显存管理 解决请求的时序与显存问题,本篇解决多卡摆放问题,三者合起来才是完整的 MoE 推理服务栈。
总结
MoE 专家并行服务化的全部工程围绕一个矛盾展开:稀疏激活省了计算,却换来每层两次 All-to-All 和天然倾斜的路由分布;容量因子决定丢 token 与显存的取舍(推理期宁可用排队换不丢),热点专家靠复制、迁移、调度感知路由三板斧按时间尺度分层治理,而 EP 度数要在显存、通信、专家粒度三道关里取交集,并让 TP 守 NVLink、EP 跨机、DP 包外层——把这三本账算平,稀疏模型的成本优势才能真正兑现成线上吞吐。