前段时间有个粉丝去面字节的 Agent 岗位，前面聊项目聊得挺顺利的，后面突然聊到 RL 训练那块的时候，面试官突然抛了一个问题：“MOE 模型做强化学习的时候，训推不一致怎么办？”
他愣了一下，心想这不是基础模型那边的东西吗，我面的是 Agent 岗啊。他就直接说了句：“现在还考大模型的基础原理吗？”
面试官笑了笑，说了："你肯定要知道一点的，毕竟你做的 Agent 底层也是跑在这些模型上的。"他想想也对，就开始凭印象答——说路由会随机，所以推理和训练时候激活的专家可能不一样，会导致什么什么问题。面试官点点头，问："那你觉得有什么办法解决？“他说了个"多次前向取平均”，面试官没表态，继续追问："还有呢？从算法层面有没有更好的思路？"他挠挠头，说不太出来了。
面完之后他来找我复盘，说这个问题他感觉自己知道一点，但答得没有层次，问应该怎么组织。我跟他说，这个问题其实不难，但它有四个方向的解法，每个方向的代价不一样，面试官真正想听的是你能把这几个方向理清楚，而不是只记住一个 trick。
今天就把这个问题从头到尾捋一遍。
1. 问题本质：MOE模型中强化学习的训推不一致
先说一个比较容易被忽略的前提吧。Dense 模型做 RL 为什么没有这个烦恼呢？
原因其实也不复杂。Dense 的每一层每次前向都会把全部参数给激活掉，你给它相同的输入，网络的行为是完全确定的。
但 MOE 就不一样了。Router 每次前向都会根据当前 Token 的表征，去动态决定激活哪几个专家。这个决定吧，本质上是带有随机性的。你同一条输入跑两遍，激活的专家集合可能就对不上了。
这就带来了一个在 Dense 模型上根本不存在的问题。
具体来说就是，推理引擎完成 Rollout 采样之后，把这批样本交给训练引擎去做梯度更新。但是呢，即便是同一条 Response，你重新做一次前向，激活的专家可能已经换了一批了，算出来的 LogProb 也就跟着偏了。
重要性权重，也就是 π_θ / π_ref 那个 Ratio，它的方差一旦炸掉，训练的稳定性就直接垮掉了。这就是面试官说的"训推不一致"——你训出来的模型和实际推理时用的模型，走的不是同一条路由，概率分布对不上，RL 的梯度信号就废了。
根据千问团队在 GSPO 论文里的实测数据来看，Qwen3-30B-A3B-Base 这个有 48 层的 MOE 模型，每轮梯度更新之后，大概是 10% 左右的专家激活结果会发生变化。
而且层数越深的话，这个漂移就越严重。这不是什么边缘案例啊，是 MOE 做 RL 绕不开的一个结构性挑战。
2. 解法一：Routing Replay
面对这个问题呢，学术界提出来的第一条路叫做 Routing Replay。它的核心逻辑其实是比较直观的。
既然路由的不确定性是问题的根源，那我们就把推理阶段的路由决策给记录下来，训练的时候按原样去进行重放，强制让分子和分母的前向走同一张路由图。
这个方向下面有两个具体的变体。R2 是复用路由来对齐 Ratio 分母的那次前向，R3 呢则是进一步对齐分子那次前向。这两个合起来就叫做 Routing Replay 系列方法。
方法确实是比较直接的，也确实能让训练稳定下来。
但是这里有一个值得去追问的代价。你把路由锁死之后，MOE 的专家组合空间实际上就被人为地收窄了。
理论上同一段输入输出可以对应很多种不同的专家激活模式，而这种多样性本身是 MOE 区别于 Dense 的核心优势之一嘛。你强制重放就等于提前放弃了对这部分多样性的探索。层数越多，这个损失就越难被忽视。
跟 Dense 模型做一下对比的话，这个取舍就更清楚了。Dense 在训推一致性上天然就没有代价，MOE 要获得这个一致性呢，付出的代价就是探索空间被压缩了。
这其实就是 Routing Replay 作为"兜底方案"的真实处境。
3. 解法二：多次前向取平均
沿着另一个方向呢，一些团队的思路是这样的：既然路由的随机性没办法消除，那我们能不能用统计方法把它的影响给平均掉？
具体的做法就是对同一个输入输出 Pair，在推理引擎多跑几次前向，收集不同的路由结果，然后取平均来估计概率分布。
在多次采样之下，单次路由偏差对最终估计的干扰就被稀释掉了，得到的 LogProb 自然就更稳定。开头那个粉丝面试时说的"多次采样取平均"，其实就是这个方向。思路没问题，但面试官追问的那句"推理成本翻倍你能接受吗"才是关键。
快手 KAG 团队在 235B 规模的 MOE 模型上做了验证。结果显示这个方法在效果上是优于 Routing Replay 的，而且不会人为地去收窄模型的路由探索空间。
不过这个方案有一个工程层面的代价需要正视一下。多次前向就意味着推理的计算量会成倍增加，在生产环境里面这是真实的资源开销。你实际应用的时候需要在效果和成本之间去做一个权衡。
4. 解法三：提升到 Sequence Level
如果说前两个方案是在"治标"——想办法让训推的路由对齐，那千问团队提出来的 GSPO 走的是另外一条路。它从算法设计层面重新定义了这个问题。
GSPO 的出发点是指出了 GRPO 本身的重要性采样设计存在根本性的缺陷。
GRPO 是在 Token 级别计算 Ratio 的，但每个 Token 只有一个采样样本。这直接就违背了重要性采样需要多样本才能给出可靠估计这个基本前提。
更深的矛盾在于什么呢？Reward 本来就是打给整条 Sequence 的，你把它强行分解到每个 Token 上去加权，信号的粒度和奖励的粒度天然就不匹配。
GSPO 的修法是把优化目标整体提升到 Sequence 级别。重要性权重改用整条序列的平均似然比，并且加入了长度归一化来统一不同长度序列之间的数值范围。
这个改动对 MOE 特别有效，原因其实也不难理解。单个 Token 的路由结果抖动是很大的，但整条序列上平均下来的似然比呢，对路由波动的敏感度就会自然降低。这也是面试官想听到的更深层的答案——不只是"怎么做"，而是"为什么这么做对 MOE 特别合适"。
从千问团队的实验来看，用 GSPO 训 MOE 完全不需要叠加 Routing Replay，训练效率反而比 GRPO 加 Replay 的组合方案还要更高。这在 Qwen3 系列模型的训练中已经得到了实际验证。
值得一提的是，跟 GSPO 同期还有一篇来自北京大学和小米联合团队的 R3 论文。这篇论文也是针对 MOE 训推一致性问题的，走的是改进路由重放的路线，跟 GSPO 形成了方法论上的有趣对照。一个侧重对齐路由决策，一个从根源上改掉对 Token 级 IS 的依赖。
5. 解法四：Group Expectation Importance Weight
还有一个思路也值得一提，就是 GEIW。
它的核心是把重要性采样的分母换成 Group 期望，从降低方差的角度来切入。
这个方法跟多次前向取平均在逻辑上有相通之处。都是用群体统计量来替代单点估计，从而让训练信号变得更平稳。
这个方法目前在学术层面更多还是处于探索阶段，还没有大规模落地的公开案例。但是思路的方向是清晰的。
6. 面试回答总结
最后来整理一下面试时候的答题思路。这也是开头那个粉丝后来复盘时自己整理的，我觉得挺有参考价值。
开头先去定位问题的本质：MOE 的专家路由存在随机性，导致训推两端对同一输入计算出不同的 LogProb，重要性权重方差炸掉，训练就崩溃了。
然后说第一类解法是路由对齐。Routing Replay 系列，包括 R2 和 R3，把推理时的路由决策存下来在训练时进行重放。这个方法能有效稳定训练，代价就是收窄了模型的路由探索空间。
接着说降方差的两条路。一条是多次前向取平均，通过多次采样来平滑路由随机性。另一条是 GSPO，把优化目标从 Token Level 提到 Sequence Level，从根源上减小 IS 权重的方差，同时消除了 Token 粒度跟 Sequence 粒度奖励之间的错配。
如果有时间的话，可以补一句：这些方法其实并不互斥，工程上是可以组合使用的。比如 GSPO 本身还可以叠加重要性裁剪这些 Trick 来进一步增强鲁棒性。
核心逻辑要记清楚。MOE 做 RL 不稳定，根源就是路由随机性带来的高方差。解法要么是对齐训推的路由决策，要么是通过采样或者算法重设计来压低方差本身。两个维度，四种方向，记住各自的适用场景和代价，面试就能答得有层次了。
学AI大模型的正确顺序，千万不要搞错了
🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！
有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！
就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！
我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～
