Mixture of Experts in Large Language Models

文章主要内容总结

本文是对混合专家（Mixture-of-Experts, MoE）架构在大型语言模型（LLM）中的全面综述，核心内容涵盖：

1. 理论基础与发展历程：追溯MoE从早期自适应学习系统到现代大规模稀疏激活架构的演变，重点梳理2020年后GShard、Switch Transformer等里程碑模型推动MoE成为高效缩放方案的关键节点。
2. 核心架构与路由机制：分析MoE的核心组件（专家模块、门控函数、负载均衡策略），对比不同路由机制（如Token Choice vs. Expert Choice、学习型路由vs.固定路由），以及分层、异构等高级架构变体。
3. 元学习与知识转移：探讨元学习框架在MoE中的应用（如快速适应新任务）、知识转移机制（如稀疏到稠密模型的蒸馏、专家间互蒸馏），以及系统平台支持（如AwesomeMeta+）。
4. 跨领域应用：覆盖推荐系统、多模态学习、 healthcare、计算机视觉、NLP等领域的MoE模型案例，展示其在任务特异性优化和效率提升中的作用。
5. 评估、挑战与未来方向：提出MoE特有的评估框架（如MoE-CAP），指出路由不稳定性、专家多样性不足等挑战，展望稀疏融合、终身模块化等未来方向。

创新点

1. 系统性综述框架：首次从理论基础、架构设计、元学习、跨领域应用到评估挑战进行全维度整合，构建Mo