学术交流群：922230617
目录
2.2 可微动态路由——从 “学权重” 到 “学选择”
2.2.1 LD-MoLE：用 Sparsegen 替代 Top-K，让 “激活几个专家” 可学习
2.2.2 ReMix：承认权重会塌缩，那就别学权重了
2.2.3 两条路线的对比与取舍
参考文献
2.2 可微动态路由——从 “学权重” 到 “学选择”
上一节把问题摊开之后，解决思路其实有两条截然不同的路线。
- 一条是把 Top-K 换成可微的替代品，让 “激活几个专家” 本身变成可学习的连续变量——代表工作是 LD-MoLE。
- 另一条是干脆放弃可学习权重，承认软权重必然塌缩，转而用常数权重 + 强化学习来训练 “选谁”——代表工作是 ReMix。
两条路线看似对立，但出发点一致：都承认 “可学习的连续权重 + 硬性 Top-K” 这套组合从结构上就不可靠。
2.2.1 LD-MoLE：用 Sparsegen 替代 Top-K，让 “激活几个专家” 可学习
LD-MoLE的出发点是 2.1.1 节的两个缺陷：Top-K 不可微、K 固定。它的解法可以概括为一句话：用一个可微的闭式投影（closed-form projection，Sparsegen）生成稀疏路由权重，再让一个轻量 MLP 为每个 token 预测稀疏程度（Zhuang et al.,LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts）。
核心机制：Sparsegen 闭式投影。给定路由器输出的 logits u ∈ R^E，Sparsegen 求解如下约束优化：
这个目标函数的意思是：在概率单纯形（probability simplex）上找 p，既尽量靠近原始 logits u（第一项），又通过第二项鼓励稀疏（λ 越大越稀疏）。它有闭式解：
其中 [⋅]+ = max(⋅,0)，U_k 是排序后前 k 个 logits 的累积和，k 是满足特定不等式条件的最大下标。这个闭式解的关键性质是：输出天然稀疏（小于阈值的坐标被截断为 0），且整个映射对 u 和 λ 都可微——不同于 Top-K 在选取边界处的跳变，Sparsegen 的导数在几乎所有点都有定义，且上界可控。LD-MoLE 还证明了 Sparsegen 的解至少有一个非零元素，从而避免了 ReLU 类路由可能出现的 “零激活” 问题（某些 token 没有被任何专家处理）。
Top-K 路由 vs. Sparsegen 路由对比（LD-MoLE, Figure 2）：
- (a) 标准 Top-K——非可微的硬选择，固定激活 K 个专家；
- (b) Sparsegen——可微投影到概率单纯形，由 λ 控制稀疏度，激活专家数随输入自适应；
- (c) 对每个 token，共享 MLP 根据 token 特征预测 λ，与路由器 logits 一起决定概率单纯形上的稀疏分布 p，从而动态选择 LoRA 专家。
关键设计：λ 由共享 MLP 预测。如果 λ 是一个全局固定的超参数，那只是把 “调 K” 换成了 “调 λ”，问题没有本质改善。
LD-MoLE 的解法是：为每个 token 预测一个专属的 λ。
- 具体地，对 token 特征 x_t，用一个轻量共享 MLP 输出 λ_t = f(x_t)，再与 logits 一起送入 Sparsegen。
- 这个 MLP 按输入维度实例化（例如 Qwen3-1.7B 只有 2048 和 6144 两种维度，因此只需两个 MLP），参数开销与层数、专家数无关。
- 这样，简单 token 可以被预测出较大的 λ（更稀疏、激活更少专家），复杂 token 则得到较小的 λ（更稠密、激活更多专家），实现 token 级、层级的自适应资源分配。
稀疏控制：解析的稀疏损失。除了 λ 自适应，LD-MoLE 还允许显式控制 “目标激活专家数”。基于 Proposition 2，它推导出 “恰好激活 k 个专家” 对应的 λ 区间上下界
并设计稀疏损失：
当预测的 λ 低于下界（意味着激活专家数超过目标 k）时，损失惩罚它；当 λ 已在可行区间内时，损失为零。这是一个解析推导出来的、直接作用于 “激活数量” 的正则项，而不是像负载均衡损失（L_lb）那样间接地鼓励均匀。
总损失为：
实验证据与关键发现。LD-MoLE 在 Llama-3.2-3B、Llama-3.2-8B 和 Qwen3-1.7B 上对比了 MoLA（Top-K）、MoLA (2468)（层间非均匀 Top-K）和 ReMoLE（ReLU 动态路由），平均分在三款模型上都最高（LD-MoLE，Table 1）。
方法在不同下游任务之间的对比（LD-MoLE，Table 1）：LD-MoLE 取得最高的平均分。
不同层、不同投影模块的 λ 分布（LD-MoLE，Figure 3）：可以看到 λ 随层深显著变化，深层方差更大，直观说明 “固定 λ 不够用、需要 token 级预测”。
Token 频率与激活专家数的负相关（LD-MoLE，Figure 5）：趋势线向下倾斜，说明高频 token 用更少专家、低频 token 用更多专家。
有无稀疏损失时各层平均激活专家数（LD-MoLE，Figure 4）：可以看到 “低层多、高层少” 的模式在两种设置下都保持，稀疏损失主要整体压低激活数。
更值得注意的是两个分析：
第一，预测的 λ 显著优于任何固定 λ。
- LD-MoLE 对比了 λ ∈ {0.5, −1.0, −10.0, 预测值} 四种设置，预测 λ 在 ARC-C、ARC-E、OpenBookQA、CommonsenseQA、RTE 上的平均分均为最高。
- Figure 3 展示了不同层、不同投影模块的 λ 分布差异巨大——深层 λ 绝对值更大、方差更大，固定 λ 根本无法捕捉这种深度相关的差异。
第二，“难 token 需要更多专家” 得到了实证支持。
- Figure 5 画出了 token 频率（对数尺度）与平均激活专家数的关系：训练中高频出现的 token（如 prompt、上下文相关词）倾向于激活更少专家，稀有或陌生 token 激活更多专家。这与 MoE 的核心直觉一致——常见模式可以压缩表示，罕见模式需要更多容量来建模。
- LD-MoLE 的稀疏损失实验（Figure 4）进一步显示：不加稀疏损失时，低层激活约 7–8 个专家、高层逐渐减少；加稀疏损失后整体激活数下降，但低层仍保持相对稠密，“低层多、高层少”的层间模式在两种设置下都稳定存在。
总结：LD-MoLE 把 “Top-K 选几个” 从人工超参数变成了由 token 特征预测的连续变量，用可微闭式投影保证端到端训练，用解析稀疏损失提供可控性，并在实验上验证了 “难 token 多专家” 这一直觉。
2.2.2 ReMix：承认权重会塌缩，那就别学权重了
如果 LD-MoLE 的思路是 “把硬选择变软、让路由可学”，ReMix 的思路恰恰相反：既然可学习的软权重从初始化就注定塌缩（2.1.2 节），那就不学权重了——给所有激活专家相同权重，把 “选谁” 的问题交给强化学习（Qiu et al.,Reinforcement Routing for Mixtures of LoRAs in Parameter-Efficient LLM Finetuning）。
核心机制：常数路由权重。ReMix 保留路由器
来产生 “选择分布”，但不再把 q 直接当作权重。给定激活专家集合 I(l)（大小为 k），ReMix 对所有被选专家赋相同的常数权重 ω：
其中，ω 可以取 LoRA 型 2 / (kr) 或 rsLoRA 型 2 / sqrt(kr)。
这样一来，ESS 恒等于 k——从机制上杜绝了塌缩，因为没有任何一个专家能获得比其他被选专家更大的权重。
层输出变为：
ReMix 的微调流程（ReMix，Figure 3）：
- 输入 token 经路由器得到选择分布 q，采样得到激活专家集合，所有被选专家以常数权重 ω 参与计算；
- 路由器参数通过 RLOO 梯度估计器更新。
训练：把路由重构为强化学习。常数权重带来一个新问题：LLM 输出对路由器参数不可微（因为权重是常数，梯度无法通过权重传回路由器）。ReMix 的解法是把路由训练重新表述为 RL 问题：把监督微调损失 L(J) 视为负奖励，路由器 q^(l) 视为策略模型。
具体地，对每层独立采样 M 个专家选择 J_m，用Reinforce-Leave-One-Out（RLOO）估计器计算路由器梯度：
其中，‾L 是 M 次采样的平均损失，作为基线降低方差。ReMix 证明了该估计器是无偏的，并且训练计算量 M 可以扩展——论文的 scaling 实验显示（Figure 5），M 从 2 增加到 32 时准确率从 56.03% 稳步升到 58.83%。这是一个独特优势：现有 MoE-LoRA 方法的训练计算量是固定的，无法通过 “多采样” 来提升效果。
推理：Top-k 选择。训练时用采样（为了 RL 探索），推理时则用Top-k 选择。ReMix 的 Theorem 3.1 证明：只要路由器训练得足够好（采样得到最优子集的概率超过 50%），那么取 q 最大的 k 个专家必然构成最优子集。这为 “训练采样、推理 Top-k” 的组合提供了理论保证。
每层独立采样的专家选择 M 消融（ReMix，Figure 5）：M 从 2 增加到 32 时准确率稳步提升。
与现有 PEFT 方法的对比（ReMix，Table 1）：ReMix 在保持良好参数效率的同时，始终优于所有基准方法。
RLOO 与 Top-k 的贡献的消融实验（ReMix，Figure 4）：完整 ReMix 最高。说明两个组件都不可或缺。
ReMix 在不同 k 下的准确率（ReMix，Table 3）：k=1→4 时准确率单调上升。说明在常数权重机制下，增加激活专家数确实带来性能增益，与塌缩场景下 “k 增大但 ESS≈1” 形成对比。
实验证据（Table 1）：
- ReMix 在 Llama 3 8B 上对比了 Prefix/Weight/Mixture 三类基线，平均准确率比最强基线高 2.82 分；
- 在 GSM8K 上达到 65.66（比 rsLoRA、HydraLoRA 高 3.19），HumanEval Pass@1 32.93（比 IA³ 高 1.83），ARC-c 83.73（比 DoRA 高 0.34）（Qiu et al.,ReMix, Table 1）。
- 值得注意的是，ReMix 的可训练参数只有 0.070B，比 MixLoRA（0.101B）少 31%、比 VB-LoRA（0.675B）少 90%，却取得了更高的平均分。
消融实验显示：去掉 RLOO 或去掉 Top-k 推理都会显著掉点（Figure 4）；与 top-1 MixLoRA 对比（62.32 vs 65.66）说明有效利用多个专家确实带来增益，而非 “名义上 k>1、实际只有一个专家干活” 的假象。
总结：ReMix 从机制上放弃可学习权重，用 “常数权重 + RL 训练选择” 绕开了软权重的结构性塌缩，同时意外获得了一个可扩展训练计算量的新维度。
2.2.3 两条路线的对比与取舍
把 LD-MoLE 与 ReMix 放在一起看，它们其实在回答同一个问题的两个不同侧面：
| 维度 | LD-MoLE | ReMix |
|---|---|---|
| 对软权重的态度 | 保留并改进（用 Sparsegen 替代 Top-K） | 彻底放弃（常数权重） |
| 可微性来源 | 闭式投影本身可微 | 用 RL 无偏估计器绕过不可微 |
| 路由权重 | 由 λ 和 logits 共同决定，连续且稀疏 | 所有激活专家相同常数 ω |
| ESS | 由 λ 自适应，可大可小 | 恒等于 k |
| 训练稳定性 | 端到端反向传播，稳定 | RLOO 降低方差，可扩展采样 |
| 主要代价 | λ 预测 MLP 带来少量参数开销 | RL 训练比反向传播复杂；推理需 Top-k |
| 适用场景 | 需要 token 级细粒度资源分配 | 需要保证多专家真正被使用、可接受 RL 训练 |
两者的共同启示是：“可学习连续权重 + 硬性 Top-K” 这套原生 MoE 的默认组合，在 MoE-LoRA 场景下并不是一个可靠的基础。LD-MoLE 选择在它上面打补丁（换投影、加预测），ReMix 选择绕开它（常数权重 + RL）。哪条路线更好，取决于具体约束——如果训练管线可以接受 RL 的复杂度、且最关心 “多专家是否真在干活”，ReMix 更稳；如果希望保持端到端反向传播的简洁性、且需要细粒度控制激活数量，LD-MoLE 更合适。
值得一提的是，ReMix 的发现也为 2.1.2 节的 “塌缩” 讨论补上了实践层面的注脚：它对比的 top-1 MixLoRA（62.32）与完整 MixLoRA（62.93）性能几乎相同——这直接证明了在可学习软权重下，k>1 的计算确实被浪费了。ReMix 的常数权重设计，本质上是用 “结构约束” 替代 “损失正则” 来对抗塌缩：与其指望负载均衡损失把权重拉均匀，不如从架构上就不给任何专家获得更大权重的机会。
参考文献
（MoLA）Gao, Chongyang, et al. "MoLA: MoE LoRA with layer-wise expert allocation."Findings of the Association for Computational Linguistics: NAACL 2025. 2025.
（LD-MOLE）Zhuang, Yuan, et al. "Ld-mole: Learnable dynamic routing for mixture of lora experts."International Conference on Learning Representations. Vol. 2026. 2026.
（ReMix）Qiu, Ruizhong, et al. "Reinforcement Routing for Mixtures of LoRAs in Parameter-Efficient LLM Finetuning."Third Conference on Language Modeling.
（SAMoRA）Shi, Boyan, et al. "SAMoRA: Semantic-Aware Mixture of LoRA Experts for Task-Adaptive Learning."Findings of the Association for Computational Linguistics: ACL 2026. 2026.
 --- linux waitqueue)
