这份报告详细阐述了 Qwen3.8-Flash-Next 大语言模型的架构设计、优化策略和评估结果。其核心目标是在极低的计算成本下，保持甚至超越上一代旗舰模型（397B-A17B）的性能。为此，团队将架构、效率和优化视为一个统一的系统性问题进行联合求解。
一、 核心成果与效率
卓越的效率：新模型总参数量为125B，但每个token仅激活6B参数。与上一代397B-A17B模型（激活17B参数）相比，它以约1/3的激活参数、1/3的训练数据和约1/9的训练FLOPs，在14个基准测试中的8个上达到或超越了前代水平。
主要贡献：通过一系列创新设计，实现了性能、效率和训练稳定性的同步提升。
二、 四大核心架构创新
混合 Token 混合器（GDN + 全注意力）：
采用Gated DeltaNet (GDN)与全局注意力层混合。每4层中，3层为高效的GDN（将上下文压缩为固定大小的状态），1层为全注意力（保留关键的Token级检索能力）。
这种设计在保证长序列处理能力的同时，大幅降低了计算复杂度。
Qwen 稀疏注意力 (QSA)：
在持续预训练阶段，用QSA替换全注意力层，专为长上下文（高达1M token）设计。
核心机制：使用一个轻量级索引器，将序列压缩成“微块”并评估其重要性，核心注意力模块只关注最相关的微块。
效果：在1M上下文长度下，预填充速度提升7.6倍，解码速度提升4.9倍，且性能无损甚至略有提升。
门控残差 (Gated Residual, GR)：
将传统的单路残差流拓宽为4个并行分支，并通过一个可学习的、逐元素的门控机制来动态控制每个分支的读写。
作用：不仅增加了模型容量，更重要的是提供了内在的重缩放机制，极大地提升了训练的稳定性，消除了损失尖峰。
N-gram 嵌入层：
在主干网络之外，增加了一个巨大的（51B参数）N-gram嵌入表，并存储在CPU内存中，通过预取技术减少延迟。
作用：以极低的计算成本（FLOPs）增加模型容量，主要提升了模型的事实记忆和多语言（特别是中文）能力。
三、 优化与训练稳定性
优化器（Muon + AdamW 混合策略）：
采用Muon作为主要优化器，其对大矩阵的正交化更新更高效。
实施了精细的策略：将融合的参数矩阵（如QKV）拆分后分别应用Muon；而嵌入层、MoE路由器等则继续使用AdamW，以取得最佳效果。
超参数重缩放：
由于架构和优化器的改变，原有的最优超参数（学习率、批大小）已不适用。团队重新拟合了缩放法则。
新法则预测并验证了更大的批大小和学习率能带来更好的收敛效果，并且不再需要批大小预热，节省了约18.8%的优化器步数。
极致的训练稳定性：
这是本工作的一个关键亮点。通过GR门控机制和Muon优化器的结合，模型在压力测试（使用4倍最优学习率）下依然保持稳定。
在实际的全规模训练中，没有出现任何一次损失尖峰或梯度异常波动，也无需使用额外的裁剪技巧（如qk-clip）。
四、 设计原则与洞察
联合优化：报告强调，架构设计不能只看损失（Loss），必须同时评估下游任务性能、计算效率和对超参数的敏感性。例如，仅靠损失可能会做出错误决策（如稀疏写入）。
实验验证：通过精心设计的“压力测试”（如恒定高学习率）来暴露大规模训练中可能出现的问题，确保方案的鲁棒性。
分析工具：报告利用GR的可解释性，分析了信息在残差分支中的流动路径，发现一个分支负责长距离传递早期信息，而其他分支负责局部信息。
Qwen3.8-Flash-Next 是一个在架构、效率和优化三个维度上深度耦合设计的成功案例。它证明了通过精巧的架构创新（如GR、QSA、GDN混合）和与之匹配的优化策略（如Muon、新的缩放法则），可以在不牺牲性能的前提下，将大模型的训练和推理成本降低一个数量级。其核心设计哲学——将稳定性作为架构设计的一部分，而非事后补救——为未来更大规模模型的训练提供了宝贵经验。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：
项目地址在这里，如下所示：
预训练模型权重在这里，如下所示：
摘要
我们描述了 Qwen3.8-Flash-Next 的架构及其消融实验。该模型是一个稀疏混合专家模型，拥有 125B 总参数，每个 token 激活 6B 参数，并额外包含 51B 的 n-gram 嵌入表参数，这些表存储在加速器之外。在十四个预训练基准测试中，该模型在八个基准上领先其前代 397B-A17B 模型，在其余基准上最多落后 2.6 个点，而激活参数仅为前者的 1/3，训练 token 数为 1/3，训练 FLOPs 约为 1/9。Token 混合采用 Gated DeltaNet (GDN) 和全局注意力的层级混合策略，每四层中有一层为全注意力层；在持续预训练阶段，这些全注意力层被替换为 Qwen 稀疏注意力 (QSA)，后者以微块粒度通过压缩的轻量级索引器对上下文进行评分。残差流被拓宽至四个分支，并通过逐元素门控进行读取，我们称此设计为门控残差 (GR)。在主干网络之外，通过单层 n-gram 嵌入层增加容量，其表从主机内存预取。我们沿三个轴评估每个候选更改：损失及下游基准测试；更改在训练、预填充和解码中的成本；及其对最优超参数和训练稳定性的影响。损失和下游准确率并不总是一致：增大 n-gram 词汇量会单调降低损失，而下游准确率则会饱和。该架构与 Muon 优化器共同将最优学习率和批大小向上推移，使批大小预热变得不必要，并在压力测试下显著提高了稳定性。损失、基准测试、效率和稳定性构成一个设计问题。联合求解后，得到一个同时更高效、更有能力且更稳定的方案。
1 引言
Qwen3.8-Flash-Next 是一个稀疏混合专家模型，拥有 125B 总参数，每个 token 激活 6B 参数，并额外包含 51B 的 n-gram 嵌入表参数，这些表存储在加速器之外。设计目标是以其计算预算的一小部分，保持前代旗舰模型 397B-A17B (Qwen Team, 2026) 的质量。在涵盖知识、STEM、推理、编码和多语言能力的十四个预训练基准测试中，所得的基础模型在八个基准上领先其前代，在其余六个基准上最多落后 2.6 个点 (表 11)，而每个 token 激活的参数大约为前者的三分之一，训练 token 数约为三分之一，训练 FLOPs 约为九分之一。
架构上的改变会同时影响三个方面：模型在下游任务上的表现、训练和服务的成本，以及大规模训练运行是否保持最优和稳定。因此，我们沿三个轴评估每个候选更改：损失及下游基准测试；更改在训练、预填充和解码中的成本；及其对最优超参数和训练稳定性的影响。损失、基准测试、效率和稳定性构成一个设计问题，我们分别对每个方面进行报告。在本报告中，我们强调这三个轴不一致的地方以及由此产生的设计选择。
四个架构组件承载了设计，每个组件解决一个不同的瓶颈。Token 混合采用 Gated DeltaNet (GDN) (Yang et al., 2024) 和全局注意力的层级混合：循环层将前缀压缩为固定大小的状态，成本为线性，而每四层中的一个全注意力层保留了有限状态记忆无法精确复制的直接 token 级检索能力 (§2.1.1)。在持续预训练阶段，这些全注意力层被替换为 Qwen 稀疏注意力 (QSA)，后者遵循 Liu 等人 (2025a) 的稀疏注意力路线，但以微块粒度通过压缩的轻量级索引器对上下文进行评分，因此索引本身的成本随序列长度下降。残差流被拓宽至四个分支 (Baykal 等人，2023；Zhu 等人，2024) 并通过逐元素门控进行读取，我们称此设计为门控残差 (GR) (§2.2)：拓宽为残差路径增加了容量，门控决定如何使用这些容量，同时也提供了保持训练稳定的重缩放。通过单层 n-gram 嵌入层 (Google DeepMind, 2025; Cheng 等人，2026) 在主干网络之外进一步增加容量，其表从主机内存预取 (§2.3)，以可忽略的额外每 token FLOPs 和延迟扩展参数数量。
图 1: Qwen3.8-Flash-Next 架构。Token 混合在每四个块中交替使用三个 GDN 层和一个 QSA 层。每个子层通过 GR 进行读写，GR 拓宽了残差流并逐元素门控读取。第 2 层的一个 n-gram 嵌入层通过主机内存预取在加速器外扩展容量。MTP 模块在投机解码步骤中重用 QSA 索引。
评估。损失和下游准确率并不总是一致，我们观察到两个方向的分歧。增大 n-gram 词汇量会单调降低损失，而下游准确率会饱和，并且在固定参数预算下，损失最优值与准确率最优值存在分歧 (表 9，表 8)。相反，从残差状态预测残差读写权重仅带来边际损失减少，但带来了明显的基准测试收益 (§2.2)。其他分歧出现得较晚：将每个块限制为仅使用门控最高的两个残差分支在预训练损失上几乎没有代价，但在进一步训练后会退化 (§2.2)，并且从全注意力层中移除位置编码在预训练期间难以区分，但在后期阶段影响生成质量 (§2.1.1)。在后续章节中，当损失和基准测试趋势一致时，为简洁起见我们仅报告损失。
优化。Muon (Jordan 等人，2024) 应用于充当线性映射的二维权重；输入和 n-gram 嵌入、输出头、MoE 路由器和 GR 的低秩投影则保留在 AdamW 上，因为在这些地方正交化要么不切实际，要么无益 (§3.1)。融合参数在正交化前被拆分，因为正交化拼接矩阵会混合不相关子块间的奇异方向 (§3.1)。新架构和优化器也改变了最优超参数，因此我们重新拟合了用于 Qwen3.5 系列的缩放法则 (Kaplan 等人，2020) (§3.2)。新的缩放法则预测了更大的批大小和学习率；这两项预测均被单独验证并确认。更大的批大小提高了大规模下的并行吞吐量，更大的学习率则改善收敛。在早期训练中逐步增加批大小并不比从一开始就使用目标批大小更好，并且多花费了 18.8% 的优化器步骤，因此我们不使用它 (§3.2)。
训练稳定性。我们通过压力测试验证训练稳定性，这些测试通过提高学习率 (Wortsman 等人，2023) 并保持恒定学习率，在中等模型规模上重现大规模不稳定性。标准是，在同等压力下，新方案必须至少与其所替代的上一代方案一样稳定。在四倍最优学习率下，之前的结构频繁出现尖峰，而新方案始终保持稳定 (§3.3)。将 GR 中的门控隔离到一个单变量对上，证实了它是相对于 Qwen3.5 架构稳定性裕度的关键贡献者。由于这些稳定性的直接增强，Qwen3.8-Flash-Next 的全规模训练顺利进行，没有出现一次损失尖峰或梯度范数异常波动，也无需依赖诸如 qk-clip (Kimi Team, 2025) 或 SwiGLU-clip (Agarwal 等人，2025) 等显式裁剪方法。
组织。§2.1.1 和 §2.1.2 描述 token 混合。§2.2 涵盖门控残差，§2.3 涵盖 n-gram 嵌入层，§3.1 涵盖优化器，§3.2 涵盖超参数缩放，§3.3 涵盖稳定性压力测试。随后是所得基础模型和后训练模型的评估。
2 模型架构
2.1 注意力机制
2.1.1 GDN 混合架构
图 2: Gated DeltaNet token 混合器。投影后的查询、键和值流通过短因果卷积；查询和键在门控 delta 循环前进行 L2 归一化。衰减门 (alpha_{t}) 和写入门 (beta_{t}) 控制循环更新，而 sigmoid 输出门调制以零为中心的 RMSNorm 输出。
动机。全自注意力提供对每个先前 token 的直接基于内容的访问，但其 token 混合成本随序列长度呈二次增长，并且在自回归生成期间其键值 (KV) 缓存线性增长 (Vaswani 等人，2017)。滑动窗口注意力 (SWA) 将全局访问替换为有界的局部感受野，从而减少计算量和缓存消耗。然而，窗口外的信息只能通过深度间接传播。这在高效的局部处理和持久的内容相关记忆之间造成了张力。
我们通过 Gated DeltaNet (GDN) (Yang 等人，2024) 和全局注意力的层级混合来解决这一张力。GDN 将前缀压缩为固定大小的循环状态，并根据当前内容更新该状态，而交错放置的全局注意力层则保留了任何有限状态循环记忆难以精确复制的直接 token 级检索能力。
这一设计选择与表 1 中报告的架构消融实验结果一致。相对于全注意力 Transformer 基线，GDN 混合模型在 9 个选定基准中的 8 个上有所提升。相对于 SWA 混合模型，它在九个基准中的七个上更强。这些结果支持混合设计，但它们本身并未孤立出每个架构组件导致何种改进。
与使用 SiLU 输出门的原始 GDN 不同，我们在公式 (11) 中使用有界的 sigmoid 门控，并在我们的实验中观察到一致的改进。遵循 Qwen3-Next，我们采用以零为中心的 RMSNorm 来约束 RMSNorm 权重的增长。相同的公式一致地应用于模型中使用的所有其他 RMSNorm 层。图 2 总结了完整的 GDN token 混合路径。
在模型层面，我们的混合架构在全注意力层中保留旋转位置编码 (RoPE) (Su 等人，2024)。RoPE 和没有位置编码的 NoPE 变体在预训练期间差异很小，但 NoPE 变体在后训练后表现出明显更高的无限生成率，因此更可能无法终止。我们在每四层中放置一个这样的全注意力层，其余三层使用 GDN。这种安排在效率和质量之间取得了良好的平衡，而周期性全注意力对于长上下文性能尤为重要。
表 1: 架构比较。所有值均为百分比，越高越好。EvalPlus 和 MultiPL-E 以 pass@1 风格的聚合字段报告。平均值是九个基准的未加权算术平均值。加粗表示每列最佳结果。
内核效率。为追求效率，我们使用 FlashQLA 优化了 GDN 内核，这是一个基于 TileLang 的融合线性注意力内核库。在 NVIDIA GPU 上的多种设置下，FlashQLA 相较于 FLA Triton 内核 (Yang & Zhang, 2024) 实现了 2−3× 的前向加速和大约 2× 的反向加速。实现和基准测试可在 https://github.com/QwenLM/FlashQLA 获取。
架构消融。我们比较了由相同评估流程评估的三个检查点：一个全注意力 Transformer、一个 SWA 混合模型和一个 GDN 混合模型。两种混合变体在每四层中使用一个全注意力层；其余 token 混合层分别使用 SWA 或 GDN，SWA 层的窗口大小为 128。每个检查点对应一个基于 Qwen3.5 架构的 28 层 25B-A3B MoE 模型，首先在 400B tokens 和 4K 上下文长度上预训练，随后在 80B tokens 和 32K 上下文长度上训练。我们报告 MMLU (Hendrycks 等人，2021a)、MMLU-Pro (Wang 等人，2024) 和 SuperGPQA (Du 等人，2025) 的知识结果；MATH (Hendrycks 等人，2021b) 和 GSM8K (Cobbe 等人，2021) 的 STEM 结果；BBH (Suzgun 等人，2023) 的推理结果；MMMLU (OpenAI, 2024) 的多语言结果；以及 EvalPlus 和 MultiPL-E (Cassano 等人，2023) 的代码结果。结果报告在表 1 中。
GDN 混合模型在九个选定基准中的八个上优于 Transformer，并在七个基准上超过 SWA 混合模型。它在七个基准上取得了最佳结果，并获得了最高的总体平均值，而 SWA 混合模型在 MMLU 上略高，在 EvalPlus 上更强。
2.1.2 Qwen 稀疏注意力
动机。通过选择性地关注重要上下文，稀疏注意力缓解了长上下文场景中 softmax 注意力的二次计算瓶颈。最近，DSA (Liu 等人，2025a) 使用轻量级索引器生成 token 级稀疏掩码，实现了显著的推理加速。然而，随着序列长度增加，其 O(n2)O(n2) 索引器的开销仍然不可忽略。
图 3: Qwen 稀疏注意力 (QSA) 概述。QSA 索引器（左）使用压缩的因果注意力掩码对键块进行评分并选择 top-(k) 索引。这些索引被扩展为微块稀疏注意力掩码，用于稀疏核心注意力（右）。
为降低此索引成本，Qwen3.8-Flash-Next 采用了 Qwen 稀疏注意力 (QSA)。具体来说，QSA 采用轻量级索引器，将序列压缩为微块表示，估计其重要性，并选择最相关的上下文进行注意力计算。此设计在长输入上降低了索引开销，同时在任务性能和推理效率之间取得平衡。与跨层共享索引的方法相比，QSA 中的层内序列压缩较少依赖跨层相似性，使其天然适合混合架构。
图 3 说明了 QSA 架构。一个压缩的轻量级索引器首先以微块粒度估计上下文重要性，然后指导核心注意力模块中的稀疏计算。
图 4: 使用和不使用 QSA 的训练 LM 损失。曲线使用 200 步移动平均平滑。阴影区域标记持续预训练的最后阶段，插图显示该区域内 QSA 与全注意力基线之间的每步损失差异。
实现细节。对于 Qwen3.8-Flash-Next，主干和 MTP 模块中的所有全注意力层都被替换为 QSA，以提高长序列上的推理效率。压缩轻量级索引器采用 MQA 结构，具有四个查询头和一个共享键头，使用上述部分 RoPE 配置。在 token 预算为 K=2048 且压缩比为 r=4 的情况下，QSA 为每个查询选择最多 512 个完整块，并额外包含最后一个不完整块中的尾部 tokens。来自索引器的准确重要性估计使模型能够在阶段 2 稀疏训练期间紧密匹配全注意力的 LM 损失轨迹。如图 4 所示，两条损失曲线保持高度一致，总体损失差异在 10−4 数量级。
为高效训练，我们实现了一个融合的 QSA 内核，它联合计算稀疏注意力输出和 KL 损失，而无需实例化中间结果，从而显著降低内存消耗。压缩后的索引器在压缩后对序列进行评分，减少了索引器计算和 top-kk 选择开销。此外，多步 MTP 在预测步骤中重用 top-kk 索引，以进一步降低草稿模型推理成本。
QSA 评估。我们通过将配备 QSA 的 Qwen3.8-Flash-Next 与其全注意力基线进行比较来评估 QSA。表 2 报告了知识、STEM、推理、多语言和编码基准测试的结果，广泛评估了稀疏注意力是否影响模型在长上下文检索之外的一般能力。
表 2：Qwen3.8-Flash-Next 在全注意力和 QSA 下在广泛使用的知识、STEM、推理、多语言和编码基准上的性能比较。加粗值表示每个基准的最佳结果。表 3：Qwen3.8-Flash-Next 在 RULER 和 8-needle MRCR 上的长上下文检索性能。RULER 分数是在序列长度范围内平均的。加粗值表示每个设置中的最佳结果；平均值是两个基准的宏观平均值。
QSA 在八个基准中的七个上达到或超过全注意力基线，并将平均分从 75.9 提高到 76.8。其余差异很小，并未表明任何任务类别存在系统性退化。总体而言，这些结果表明 QSA 在实现更高效的长上下文推理的同时，保留了模型在短上下文任务上的通用能力。
除短上下文基准外，我们在两个广泛使用的长上下文基准 RULER (Hsieh 等人，2024) 和 MRCR (OpenAI, 2025) 上评估 QSA 的检索能力。我们在从 4K 到 1000K 的序列长度上评估 RULER，并在从 128K 到 1M 的长度上使用 8-needle MRCR 设置，如表 3 所示。QSA 在较短长度上与全注意力相当，并且随着上下文增长表现更好。特别是，QSA 在 512K 以上将 RULER 分数从 90.08 提高到 93.00。在 MRCR 上，分数在 512K 时从 30.66 增加到 40.53，在 1M 时从 20.71 增加到 26.44。这些结果表明 QSA 在提高长上下文推理效率的同时不会牺牲任务性能，并且在更长的序列长度上带来进一步的收益。
表 4：在四步投机解码下，使用全注意力和 QSA 的平均 MTP 接受长度。
我们进一步研究了 QSA 对多 token 预测 (MTP) 模块的影响。除了将 MTP 中的注意力层替换为 QSA 外，我们遵循 GLM (GLM-5-Team, 2026) 并在投机解码步骤中重用 top-k 索引，以进一步提高草稿模型效率。为了评估重用 QSA 是否影响 MTP 性能，我们在不同领域的基准上进行了四步投机解码实验，结果报告在表 4 中。结果显示 QSA 重用后平均接受长度没有显著变化。
架构消融。我们在 35B-A3B 规模上对 QSA 进行了架构消融实验，重点关注压缩比和索引器头数。如图 5 所示，我们使用序列长度高达 1M 的 RULER (Hsieh 等人，2024) 分数作为评估指标。所有实验均使用阶段 2 稀疏训练后获得的 CPT 模型进行评估。
对于压缩比消融，我们评估了具有不同微块大小的 QSA。我们额外包含了训练感知的 IndexShare (Bai 等人，2026) 作为基线，它通过在混合模型中的相邻全注意力层之间统一共享 top-KK 索引来减少索引开销。在图 5(a) 中，我们报告了两种方法相对于其估计的索引器延迟缩减的 RULER 性能。QSA 在相对索引器延迟为 0.25 时匹配全注意力基线，而 IndexShare 在 0.5 时仍低于基线。对于 IndexShare，0.5 表示在由三个 GDN 层分隔的两个全注意力层之间共享单个索引。此结果突显了在混合架构中层内压缩的优势，因为跨层索引共享可能受到低层间相似性的限制。
查询头的数量直接影响索引器效率，特别是在预填充阶段。因此，我们在 RULER 上评估了具有不同数量查询头的 MQA 索引器，如图 5(b) 所示。
图 5: QSA 在 RULER 上的架构消融。(a) 不同微块大小的 QSA 性能；“保留 xn”表示保留用于计算的 IndexShare 索引器层数。(b) 密集蒸馏和稀疏训练后不同数量的索引器查询头的性能。
图 6: 预填充和解码期间 QSA 在不同上下文长度下的内核级延迟。面板 (a,b) 比较不同压缩比下的索引器延迟，而面板 (c,d) 比较密集 GQA 和 QSA（包括索引器和稀疏核心注意力）之间的内核级注意力延迟。分块预填充使用 16K-token 块，批大小为 1；解码使用批大小 4 和 next_n= 4，对应于三个 MTP 预测步骤。箭头指示上下文长度为 1M 时的加速比。
密集初始化后，直接应用索引器进行稀疏注意力会导致明显的性能下降。短暂的联合训练使主干能够适应稀疏注意力模式并恢复到全注意力水平。结果表明，QSA 仅使用少量索引器查询头即可保持性能，远少于核心注意力模块使用的数量。为了平衡推理速度和准确性，我们最终采用 4 个查询头作为轻量级索引器配置。
2.2 残差连接
动机。残差连接为每个块提供了一条通往网络输出的直接路径 (He 等人，2016)。预归一化保持大规模训练稳定 (Xiong 等人，2020)，但它会衰减每一层接收到的信号：每个块读取相同的流，因此早期写入的特征必须与之后写入的所有特征竞争。几项工作通过增加绕过瓶颈的路径来解决这个问题，包括密集层间连接 (Huang 等人，2017)、为注意力值增加额外的残差路径 (Zhou 等人，2024) 以及跨层重用缓存状态 (Sun 等人，2024)。
直接修改残差路径的工作分为两个系列。第一类使每一层的读取和写入更具表达力，遵循高速网络 (highway networks) (Srivastava 等人，2015)。第二类拓宽流本身：交替更新 (AltUp) (Baykal 等人，2023) 和超连接 (HC) (Zhu 等人，2024) 将单个残差向量替换为若干个并行分支。两者是互补的：拓宽增加容量，而更丰富的读/写机制决定如何使用这些容量。
表 5: 在 560B tokens 上训练的 25B-A3B MoE 模型的残差读/写消融。基准测试和评估流程与 §2.1.1 相同。所有拓宽变体使用 nr=4 个分支；静态是公式 (26)-(28) 中 λ⋆=0 的情况，动态是其数据相关的对应情况。
在表 5 中，GR 和 mHC (动态) 的主要区别在于逐元素的 Hmix 和移除了 Hres。在此规模下两者性能相当。GR 的效率优势在于移除 HresHres 消除了每块对残差状态的完整读取，减少了内存流量。稳定性优势有两方面：GatedNorm 本身提高了训练稳定性（分析见 §3.3），并且放弃需要单独约束的 Hres 消除了一个潜在的不稳定源。
GR 与 HC、mHC 和 VWN (Seed, 2025) 属于同一家族；不同之处在于额外的表达力花费在哪里。HC 和 mHC 保持读取和写入为每分支标量，并将容量投入到 Hres 中，mHC 进一步约束其为双随机矩阵。VWN 也保留这些标量，而是拓宽 token 嵌入，将其分割成许多窄段；这种分割同样追求更细粒度的读写操作。GR 将其表达力花费在读取上：门控是逐元素的，并完全放弃 Hres，消融实验表明这没有成本，并且移除了每块对完整残差状态的读取（这是拓宽流的主要推理成本）。
由于公式 (32) 中的读取已经进行了归一化和门控，GR 也取代了块的预归一化，而不是位于其前面：公式 (24) 失去了它的 Norm，拓宽也没有增加归一化层。并且由于没有混合算子，分支保持独立，因为分支仅由块写入并通过公式 (32) 读取。这使得信息流易于追踪，我们在 §2.2 的分析中使用了这一点。
与注意力残差的比较。注意力残差 (AttnRes) (Team 等人，2026) 使用对早期层输出的 softmax 注意力来确定每个子层的读取。Full AttnRes 关注每个先前子层的输出。Block AttnRes 将 LL 个子层划分为大小为 SS 的块，将每个块求和为一个表示，并关注这些块。
表 6 在我们的设置中比较了这两种变体与 GR，一个 28 层模型（L=56L=56 个子层），每个都带有和不带 GN。Full AttnRes 是该系列中最强的设置，在 1.762 处与 GR 持平，而汇总块在 S=2 时花费 0.008，在 S=4 时花费 0.011。相同的顺序在更深层也成立：在 48 层，S=4 的 Block AttnRes 达到 1.711，而 GR 为 1.707。GN 在每个设置中都降低了损失，AttnRes 降低了 0.004-0.005，普通预归一化基线降低了 0.002。当子层读取的输入更复杂时，门控帮助更大，这正是 GR 在其读取内部携带的门控。
表 6: 28 层时的残差设计，有和没有 GatedNorm (GN)。损失是最终训练损失；S 是汇总为一个 Block AttnRes 表示的子层数量。下标给出相对于左列的变化。
分支的用途。消融实验表明 GR 改进了损失和基准测试，但产生增益的机制是什么？由于 GR 没有残差分支混合，每个分支是过去输出的普通累加器，我们可以精确分解每个块读取的内容，分解为来自每个早期块的贡献。我们使用此分解将 GR 模型与没有 GR 的相同参考模型进行比较，发现额外宽度被用于几个特定路径：一个分支在多个层中保留早期注意力输出，而其他三个分支保持局部。
2.3 N-gram 嵌入
动机。基于嵌入的记忆为扩展模型容量提供了互补维度 (Google DeepMind, 2025；RWKV Community, 2025；Gemma Team, 2026；Liu 等人，2026；Sadhukhan 等人，2026；Tseng & De Sa, 2026)。N-gram 嵌入通过基于局部上下文而非仅 token 身份来调节记忆检索，进一步推广了 unigram 查找 (Huang 等人，2021；Roy 等人，2022；Huang 等人，2025；Yu 等人，2025；Cheng 等人，2026；Chen 等人，2026)。具体来说，以每个 token 结尾的短 n-gram 作为嵌入表的键，检索到的向量增强相应的 token 表示。N-gram 记忆以可忽略的额外每 token FLOPs 扩展容量，同时确定性寻址支持主机内存卸载和异步预取 (Google DeepMind, 2025；Cheng 等人，2026)。在本节中，我们系统研究 N-gram 嵌入的关键架构选择。我们在所有实验中使用每个激活参数 300 个 token (TPP)。
2.3.1 N-gram 嵌入层的放置
表 7: N-gram 嵌入层放置的影响。所有设置中 N-gram 嵌入参数总数固定。
2.3.2 N-gram 词汇量大小
我们在固定参数预算下消融了 N-gram 嵌入层的放置位置和数量。单层变体涵盖浅层（第 1-4 层）、中间层（第 10 和 15 层）和深层（第 25 层）位置。对于多层配置，我们将一个浅层（第 2 层）与一个中间层（第 15 层）或一个深层（第 25 层）结合。结果如表 7 所示。
没有单一深度机制始终占优。前两层表现强劲，而中间层和深层位置也具有竞争力。在多层之间分配相同的参数预算没有带来一致的收益。结合第 2 层和第 25 层带来的边际损失减少并未转化为下游性能的提升。单层 N-gram 嵌入就足够了。此外，不同放置位置的相对性能在全注意力和 GDN 下相似（§2.1.1），表明放置选择对注意力机制基本不敏感。我们将其放置在第 2 层，允许主机内存预取与第一层的计算重叠。
2.3.2 N-gram 词汇量大小
我们进一步探索缩放 N-gram 嵌入词汇量大小的影响。
表 8: 在固定总模型参数预算下，N-gram 词汇量缩放的影响。词汇量规模相对于基础 tokenizer 词汇量大小 (250K) 进行测量。调整 MoE 专家数量以抵消额外的 N-gram 嵌入参数。
固定参数预算下的分配。遵循先前工作，我们缩放 N-gram 嵌入槽位，同时减少专家数量以保持固定的总参数预算。结果报告在表 8 中。损失随词汇量大小非单调变化，在 10×(25%) 时最低，与先前工作中报告的分配最佳点一致 (Liu 等人，2026；Cheng 等人，2026)。相同的优化在其他评估中并不明显。域外不可作弊 PPL 在不同预算下变化很小，下游基准测试相较于纯 MoE 基线也没有显示出明显改进。这些结果表明 N-gram 嵌入和 MoE 专家在扩展容量方面扮演着不同的角色。因此，我们在保持 MoE 参数预算固定的情况下研究 N-gram 词汇量缩放。
表 9: N-gram 词汇量缩放的影响。词汇量规模相对于基础 tokenizer 词汇量大小 (250K) 进行测量。更大的词汇量增加了总参数数量。
通过增加参数进行缩放。由于嵌入表是稀疏访问且确定性寻址的，它们可以以可忽略的额外每 token 计算进行缩放，并存储在加速器外存储中 (Google DeepMind, 2025；Cheng 等人，2026)。因此，我们超越固定大小设置，将 N-gram 词汇量从 20V 缩放到 200V，其中 V 表示 Qwen3.5 的基础 tokenizer 词汇量大小 (Qwen Team, 2026)。结果如表 9 所示。损失随着 N-gram 词汇量增长而单调递减，而下游性能并未遵循相同趋势。词汇量缩放相对于基线带来了广泛的收益，但某些基准上的性能随着词汇量增长而饱和或波动。此外，中文基准（例如 C-Eval 和 CMMLU）的性能随着 N-gram 词汇量大小而持续提高。
除了词汇量缩放，我们还探索了一系列提高 N-gram 嵌入参数效率的策略，包括但不限于用于词汇压缩的 token 归一化 (Cheng 等人，2026)、跨 N-gram 阶数的非均匀分配、以及基于频率的嵌入槽位划分。尽管做出了这些努力，我们在训练配方中未观察到一致的性能提升。
3 优化
3.1 优化器
动机。基于矩阵的优化器 Muon (Jordan 等人，2024) 通过使用 Newton-Schulz (NS) 迭代正交化动量来计算矩阵参数的更新方向，并已被证明在大规模下有效 (Liu 等人，2025b；Kimi Team, 2025)。我们使用 Muon 作为主要优化器，并发现若干设计选择影响其实际效率和稳定性，我们在下面描述。
哪些参数使用 Muon。我们将 Muon 应用于真正充当线性映射的二维权重：注意力 q/k/v 和输出投影、GDN (Yang 等人，2024) 输入和输出投影、路由专家和共享专家的 fc1/fc2，以及 N-gram 嵌入层中的键/值投影。输入嵌入和输出头保留在 AdamW 上。对于 MoE 路由器，我们观察到 Muon 加剧了早期训练波动并破坏了路由器的稳定性。尽管在训练中后期将 Muon 应用于路由器不会引起不稳定，但我们没有发现显著的性能提升。因此，我们对路由器使用 AdamW。一种可能的解释是路由器的每个输出维度对应一个专家的分数，这些维度在很大程度上是独立的，没有留下可供正交化利用的共享线性结构。GR 的两个低秩投影 (§2.2) 同样在 AdamW 上表现更好。我们将其归因于它们非常细长的形状。最后，n-gram 嵌入表在禁用权重衰减的 Adam 上运行。
拆分融合参数。在 Megatron-LM (Shoeybi 等人，2019) 中，注意力 qkv 投影、SwiGLU (Shazeer, 2020) fc1 和 GDN 输入投影各存储为一个融合矩阵，但它们在语义上是沿输出维度拼接的独立线性算子。对融合矩阵进行正交化在两方面是错误的：迭代混合了不相关子块间的奇异方向，并且 γ(A,B) 是根据拼接后的形状而非真实算子形状计算的。因此，我们在正交化前拆分融合梯度，在每个子矩阵上独立运行 NS，并在应用更新前将结果收集回原始布局。qkv 和 GDN 输入投影按每头粒度拆分，这改善了损失和下游基准测试。fc1 被拆分为其门控和上投影两部分；损失基本不变，而基准测试略有改善。拆分还为将单个子矩阵从 Muon 中排除提供了自然粒度。具体来说，GDN 衰减和 beta 投影产生每个头一个标量，因此是向量，正交化对其没有意义。对于输出门控（注意力输出门控 (Qiu 等人，2025b) 和 GDN zz 投影），我们的消融实验发现 AdamW 与 Muon 相当或略好。
3.2 超参数缩放
动机。选择接近最优的超参数对于高效稳定的模型训练至关重要。在之前的 Qwen 模型世代中，我们为关键超参数拟合了缩放法则，例如学习率 (η) 和批大小 (B) (Qwen Team, 2024；Yang 等人，2025)。最优学习率和批大小取决于模型架构和优化器，因此对于上一代模型最优的配方在两者都改变后可能变得次优。在我们之前的 Qwen3.5 超参数配方 (Qwen Team, 2026) 下，我们发现新架构和优化器的训练明显比以前更稳定（§3.3），这表明有空间采用更积极的超参数设置以进一步提高训练性能。
因此，我们开发了一个更新的超参数缩放法则。架构和优化器的变化将预测的接近最优超参数向显著更大的批大小和学习率方向移动，并且学习率随模型大小增加而衰减得更慢。
在小规模下拟合的缩放法则只有在可靠外推时才有用。我们分别验证了学习率和批大小的预测，每种都在旨在使其效果更明显的机制下进行评估：批大小预测在训练大量 tokens 的小模型上进行（过大的批大小可能导致次优性能），学习率预测在有限 token 预算下训练的大模型上进行（训练不稳定是主要风险）。预测的超参数位于接近最优的盆地中，并在预训练损失和基准性能方面均较之前的 Qwen3.5 配方有显著改进。
批大小预热不再必要。大规模运行通常在早期训练中逐步增加批大小，而不是从一开始就使用其最终值 (Brown 等人，2020；Liu 等人，2024)。其理由是，临界批大小在训练早期很小并随时间增长 (McCandlish 等人，2018；Zhang 等人，2024)，使得大批次在开始时效率低下。此外，较小的批次配合缩放的 learning rate (Goyal 等人，2017) 通常更容易在初始步骤中保持稳定。
然而，我们之前的超参数扫描在使用 Muon 优化器时显示出不同的行为。我们观察到，将批大小降低到预测最优点以下会带来比增加它更显著的性能惩罚，并且 Muon 在 AdamW 性能下降的较大批大小下仍能保持数据效率 (Jordan 等人，2024；Essential AI, 2025)。对于稀疏 MoE 模型，更大的批次还能确保每个专家每步收到充足且多样的 token 信号，这似乎有助于专家专业化 (Qiu 等人，2025a)。综合这些观察，我们假设批大小预热可能是不必要的。
因此，我们重新测试了批大小预热。我们将批大小从 6.3M 以 6.3M 的增量增加，在 524B tokens 时达到目标 25.2M。我们评估了两个变体：第一个保持恒定批次最优值的峰值学习率，使预热成为其唯一区别；第二个降低峰值学习率以考虑早期较小的批大小。
两种变体均未改善性能（图 8b）。两个预热运行都在运行间方差内收敛，但表现略差于恒定批次基线，分别差了 2.5×10−4 和 3.5×10−4。此外，预热对于相同的 token 预算需要多 18.8% 的优化器步骤，导致更大的挂钟时间开销。训练稳定性也未受影响：在此扫描中，没有运行出现损失超过其局部中位数 0.1 的步骤，且 p99.9 预裁剪梯度范数范围在 0.088 到 0.190 之间，远低于裁剪阈值 0.5。
预热运行的损失轨迹揭示了潜在机制。在预热阶段，较小的批大小在相同学习率下引入更高的梯度噪声，导致损失高于恒定批次基线。在批大小达到目标后不久，预热变体可能由于早期积累的更多优化步骤而表现出短暂的损失优势。然而，随着学习率衰减且模型接近收敛，这种步数优势被抵消。最终，恒定批次基线超过预热运行，产生更好的最终损失。因此，我们在生产运行中不采用批大小预热。
表 10：图 9a 中五次学习率运行的下游准确率，均在相同的 419B-token 预算下，针对 48 层 156B-A7B MoE。所有值均为百分比，越高越好；基准测试和评估流程与 §2.1.1 相同。加粗表示每列最佳结果。
下游基准测试结果证明了我们新的缩放法则拟合所实现的稳健收敛（表 10）。预测最优点产生最高的平均准确率，在大多数评估任务中取得最佳或并列最佳分数，而先前配方明显落后。至关重要的是，将批大小或学习率增加到预测最优点以上仅导致基准性能出现边际的、统计上不显著的下降。这表明优化景观高度稳定，模型的泛化能力不会因轻微的超参数偏差而急剧下降。我们将这些具体排名视为观察性的；考虑到每次运行的单次评估以及顶级设置之间的狭窄差距，这些微小变化可能在标准评估噪声范围内。
除了最终性能，在大型模型规模下保持训练稳定性至关重要。所有配置的训练动态都异常稳定。在所有五次运行中，预热阶段后梯度裁剪从未被触发。在预测最优点，最大预裁剪梯度范数仅达到裁剪阈值的 28%，而先前配方为 51%，后者因其较小的批大小而遭受更大噪声的梯度（图 9b）。此外，损失曲线非常平滑，没有任何损失尖峰；没有运行出现损失超过其局部中位数 0.1 的单个步骤。即使在此规模下进一步增加预测学习率也完全稳定。这证实了我们的新缩放法则没有危险地过度外推，为大规模训练提供了一种高效、安全且稳健的超参数配方。
图 10: 压力下的训练损失。28 层 25B-A3B MoE 在恒定学习率下：AdamW 下的 Qwen3.5 结构，Muon 下的相同结构，以及带有 GR 的 Muon。粗线是微弱每步轨迹上的移动平均。GR 实现了更稳定的训练。
3.3 稳定性压力测试
动机。当模型扩展到数万亿参数并在数十万亿 tokens 上训练时，它进入了一个在小规模实验中完全不会出现的稳定性挑战出现的机制 (Chowdhery 等人，2023；Zhang 等人，2022；Dehghani 等人，2023；Qwen Team, 2026)。例如，长时间的训练运行可能会在峰值学习率下花费更多的优化器步骤，增加了不稳定性出现的机会。这种不稳定性通常表现为损失尖峰或发散，需要检查点重启。为了在中等规模下高效迭代，同时仍能暴露出在生产规模下会出现的不稳定性，我们设计了一组压力测试，在较小的预算内放大相关的应力。当架构和优化器一起改变时，这种验证变得至关重要正如它们在 Qwen3.8-Flash-Next 中所做的那样：门控残差、GDN 混合和 Muon 都改变了更新和激活的缩放方式，确认这些更改在长时间训练下保持稳定是可靠扩展的先决条件。
图 11: 压力下的梯度范数和激活值。与图 10 (a) 相同的三次运行。图 (b) 中的激活值在层上平均。门控残差同时降低了梯度范数尖峰的频率和幅度，以及激活值离群点的幅度（图 11）。
压力测试设计。遵循大规模不稳定性可以通过提高学习率在小模型中重现的观察 (Wortsman 等人，2023)，我们在其最优值的倍数上保持学习率恒定，绕过标准衰减调度以模拟生产运行的持续峰值学习率。我们将其应用于 28 层 MoE，学习率为其最优值的 2× 和 4×。评估标准是，新配方必须至少与先前已成功扩展的 Qwen3.5 结构配合 AdamW (Qwen Team, 2026) 一样稳定。所有运行共享相同的批大小和 0.5 的梯度范数裁剪阈值 (Pascanu 等人，2013)。我们测量三个量：损失尖峰（超过 201 步滚动中位数 0.1 以上的步骤）、预裁剪梯度范数的 p99.9 和阈值穿越次数，以及每块最大激活值。
压力测试结果。压力测试揭示了新配方清晰的稳定性裕度。在 2× 最优学习率下，AdamW 基线开始出现尖峰（每 10k 步 4.3 次），而两种 Muon 配置保持高度稳定（每 10k 步 0.2 次）。在 4× 最优学习率下，差异变得明确（图 10）。AdamW 运行每 10k 步尖峰 183 次，并在 19,932 步中的 213 步穿越裁剪阈值，持续触发裁剪器。相比之下，两种 Muon 运行从未穿越裁剪阈值，并且带有门控残差的配置记录了零损失尖峰。在同等压力下，新架构和优化器组合要稳定得多。
机制：门控的作用。分析梯度范数和激活值为这种稳定性裕度提供了洞见。在 2× 最优学习率下，Muon 运行表现出比 AdamW 更高的中位梯度范数和更大的最大激活值，但产生的损失尖峰却少得多。添加 GR 同时降低了梯度范数尖峰的频率和幅度，以及激活值离群点的幅度（图 11）。
为了隔离门控的效果，我们在 28 层模型上以 3× 其最优学习率评估了一个单变量对，保持 AdamW 优化器和结构固定，同时切换 GatedNorm（图 12）。启用门控将尖峰率从每 10k 步 32.0 次降低到 3.2 次，并将阈值穿越次数从 256 次减少到 20 次。在无门控基线上的学习率阶梯显示，激活值离群点几乎与学习率成比例增长，而尖峰率增长更快（图 12c (c)）。在最高学习率下启用门控后，离群点水平降至最低学习率下的基线以下。这表明在高学习率下训练需要一个重缩放机制：没有明确门控，网络通过增长激活值离群点来实现这一点，使其变得脆弱；乘法门控直接提供了必要的重缩放，保持训练稳定 (Qiu 等人，2025b；2026)。
图 13: Qwen3.8-Flash-Next 的早期阶段，在发布的学习率下。三次运行的前 276B tokens，共享数据顺序、学习率调度和优化器：使用 Muon 的 Qwen3.5，加上门控残差的相同配置，以及 Qwen3.8-Flash-Next。阴影带对应于学习率预热。图 (a) 中的插图解析窗口的最后 126B tokens；图 (b) 中的插图是 1000 步滚动窗口内梯度范数的标准差。
生产运行中的验证。虽然压力测试通过偏离发布配置来放大不稳定性，但我们也验证了稳定性优势在实际生产训练配置下仍然存在。我们比较了三次运行的前 276B tokens，它们共享相同的数据顺序、学习率调度和优化器：使用 Muon 的 Qwen3.5 结构，加上 GR 的相同结构，以及带有进一步改进的 GR 和 n-gram 嵌入层的完整 Qwen3.8-Flash-Next 配方。
在损失方面（图 13a），添加 GR 使 276B tokens 处的损失降低了 0.026，而完整的 Flash-Next 配方又降低了 0.032，相对于 Muon 基线总共提高了 0.058。这种损失改善转化为显著的基准测试收益（§4），使 Qwen3.8-Flash-Next 能够以大约九分之一的训练成本达到与 Qwen3.7-Plus 相当的预训练结果。
在梯度范数方面（图 13b），单独的 Muon 的中位范数大约是有门控运行的两倍，p99.9 是有门控运行的 4.24.2 倍（0.097/0.298 对 0.053/0.071 和 0.043/0.066），并且是唯一穿越裁剪阈值的运行。有门控的运行也更加稳定，在 1000 步窗口内的标准差低了 4.3−4.7 倍，在 8× 模型规模和发布学习率下重现了压力测试的发现。将残差读取和 LM 头前的最终归一化融合为单个门控读取操作进一步降低了梯度范数，这可能是 Flash-Next 与 Muon + GR 配置之间差距的主要贡献者。在激活值方面（图 13c），添加 GR 显著减少了整个网络中的残差最大值，在每个探测深度上一致。这使得训练可以稳定进行，而无需诸如 qk-clip (Kimi Team, 2025) 和 SwiGLU-clip (Agarwal 等人，2025) 等显式激活控制。
4 评估
我们在一系列广泛的能力上评估 Qwen3.8-Flash-Next-Base 与一组强大的基础模型，包括通用知识、推理、数学、科学知识、编码和多语言理解。评估涵盖 14 个基准：
通用任务：MMLU (Hendrycks 等人，2021a) (5-shot)，MMLU-Pro (Wang 等人，2024) (5-shot, CoT)，MMLU-Redux (Gema 等人，2024) (5-shot)，BBH (Suzgun 等人，2023) (3-shot, CoT)，SuperGPQA (Du 等人，2025) (5-shot, CoT)。
数学与 STEM 任务：GPQA (Rein 等人，2024) (5-shot, CoT)，GSM8K (Cobbe 等人，2021) (4-shot, CoT)，MATH (Hendrycks 等人，2021b) (4-shot, CoT)。
编码任务：EvalPlus (Liu 等人，2023) (0-shot；HumanEval (Chen 等人，2021)、MBPP (Austin 等人，2021)、HumanEval+ 和 MBPP+ 的平均值)，MultiPL-E (Cassano 等人，2023) (0-shot；Python, C++, Java, PHP, TypeScript, C#, Bash, JavaScript)，SWEBench-Pretrain，一个 SWE-bench (Jimenez 等人，2024) 的预训练变体。
多语言任务：MGSM (Shi 等人，2022) (8-shot, CoT)，MMMLU (OpenAI, 2024) (5-shot)，INCLUDE (Romanou 等人，2024) (5-shot)。
表 11：Qwen3.8-Flash-Next、Qwen3.8-27B 和 Qwen3.7-Plus 基础模型的比较。最高分和第二高分分别用加粗和下划线表示。
表 11 比较了 Qwen3.8-Flash-Next-Base 与两个强大的基线模型，Qwen3.8-27B-Base 和 Qwen3.7-Plus-Base。Qwen3.8-Flash-Next-Base 在所有 14 个基准上始终优于 Qwen3.8-27B-Base，展示了在通用知识、推理、数学、编码和多语言能力方面的提升。更值得注意的是，它在 14 个基准中的 8 个上优于大得多的 Qwen3.7-Plus-Base，同时在其余基准上保持竞争力。这些成果仅使用了约 1/3 的激活参数和 1/3 的训练 tokens，对应大约 1/9 的训练 FLOPs。
除了训练效率，Qwen3.8-Flash-Next 的架构改进，加上其显著更少的激活参数数量，也带来了显著更低的推理成本。总体而言，Qwen3.8-Flash-Next-Base 在训练和推理中都提供了更好的性能-效率权衡。
5 结论
我们描述了 Qwen3.8-Flash-Next 的架构以及选择它的消融实验。所得的模型保持了上一代 397B-A17B 旗舰模型的质量，同时激活参数仅为前者的三分之一，训练 token 数为三分之一，消耗的 FLOPs 约为九分之一。
该设计反映了一种信念，即架构、效率和优化构成一个耦合系统。GR 提供了显著提高训练稳定性的重缩放，而这种稳定性裕度将最优学习率和批大小向上推移，提高了吞吐量和收敛性。分阶段成本核算指导了稀疏注意力设计进入索引器，并将门控残差的表达力集中在读取上。如果将任何一个轴从循环中移除，就会引入看似无害的捷径：稀疏写入在后训练后性能下降，位置编码在预训练期间似乎可有可无，或者批大小预热浪费额外的优化器步骤却无收益。
同样重要的是这些决策是如何验证的。每个主张都在完整评估预算仍然可行的规模上进行了测试，并且设置旨在暴露生产训练中的失败模式：压力测试将学习率保持在其最优值的倍数上，以便在适中的预算内出现不稳定性，而缩放法则预测在各自最敏感的机制中得到验证。在预训练指标一致但后期评估出现分歧的地方，联合验证协议在问题进入生产前发现了差异。展望未来，最紧迫的瓶颈是评估吞吐量：一个能够可靠预测后训练排序的更廉价的中等规模探测方法将使设计空间更容易搜索。
