做目标检测调优这几年，我对“网络结构直接决定性能上限”这句话体会越来越深。尤其是把YOLO这套框架推到复杂背景、小目标、密集目标这类场景时，堆数据、调anchor、加测试期增强能带来的收益非常有限，问题通常出在特征表达这个根子上。我最近把一个顶会论文里提出的ES-MoE高效稀疏专家混合模块，移植到了YOLO26框架中，在三个长期让我头疼的场景上都拿到了稳定涨点。这篇文章就把整个思路、插入位置、训练配置和踩过的坑完整记录下来，给同样在YOLO系模型上做结构创新的朋友做参考。
ES-MoE这个模块，说白了就是让网络在推理时“按需选择”不同的特征处理分支。默认YOLO是整张图共享一套卷积参数，这在背景干净、目标尺寸均匀的场景下没问题，但一旦图上同时出现大目标、小目标、密集人群、复杂纹理背景，一套参数很难同时满足所有需求。MoE的思路是准备多套专家网络，再由一个轻量路由决定每个位置用哪几位专家。稀疏激活让计算量不会跟着专家数量线性上涨，这也是它能在检测器里落地而不把训练和推理拖垮的关键。
1. 为什么YOLO在复杂背景、小目标和密集场景下会“掉点”：特征表达瓶颈拆解
1.1 全图共享卷积的“一碗水端平”问题
标准YOLO主干和颈部网络，每一层卷积都相当于给整张特征图配置了一个统一“滤镜”。这个滤镜拟合的是训练集里所有样本的平均统计规律。数据里如果一半是道路监控的大卡车、一半是遥感图里十几个像素的油罐，卷积核学出来的权重就必然是两头都不够极致的折中方案。
复杂背景场景的麻烦更隐蔽。当背景纹理和目标外观高度相似时（比如伪装目标、树丛里的小动物），浅层特征和深层语义在融合时会互相干扰。默认YOLO只能靠注意力模块被动地加权，它不知道哪个区域值得用更精细的纹理专家来处理，哪个区域用普通语义卷积就够了。我在改造小目标数据集时发现，很多漏检位置恰恰是背景高频纹理区域和低纹理路面区域的交界处——一个统一的卷积核很难同时适配这两类截然不同的局部模式。
1.2 小目标与密集目标的特征冲突：同一层要服务多种“专家任务”
小目标检测的核心矛盾是：目标只占几个像素，但它的语义类别信息需要来自较高层级的感受野。YOLO里通常用FPN/PAN把不同尺度特征拉齐融合，可小目标的特征图分辨率大、通道数少，密集目标还会让相邻实例的特征在空间上重叠。网络不得不在一张特征图上同时完成“区分相邻目标边界”和“提取全局语义”两件事，这是典型的让同一组权重去执行多类子任务。
密集目标场景还有另一个附加问题：正样本分配阶段，同一块特征区域可能同时被多个GT框匹配。如果特征的判别性不够强，后处理NMS阶段就会反复震荡。这类问题的本质不是检测头不够好，而是特征图在同一位置没有能力表达“这里有多个相近但不同的实例”。ES-MoE在空间维度的专家分配正好能解决这个矛盾——不同专家可以各自专注一种目标尺度或一种实例密度下的局部模式，路由器则负责把不同空间位置分给最合适的处理通道。
2. ES-MoE到底改了什么：一个开源方案里的路由-专家-负载均衡设计
2.1 路由门：让每个空间位置决定自己的处理路径
ES-MoE的第一步，是在输入特征图的每个空间位置计算一个路由权重。形式上就是一个小型卷积层把特征压缩成n_experts个得分，通过softmax转成概率分布，然后取TopK个专家参与后续计算。路由权重和专家输出加权求和后，再通过残差连接回到主干特征流。
这里有个容易被忽视的细节：路由器必须接收足够丰富的上下文信息。早期版本只对单点特征做路由，小目标判别效果很差，因为一个像素根本看不出“这附近是密集区域还是稀疏背景”。我沿用YOLO-Master方案里的做法，在路由前加了一个局部窗口的上下文汇总，用3x3深度卷积先扩一下感受野，再做得分映射。实测这个改动对TopK专家的选择稳定性影响很大。
2.2 专家网络：几组并行的特征变换器
专家网络是实际承担特征变换的地方。ES-MoE里的专家不是简单堆几个MLP，而是设计成“轻量卷积+通道注意力”的组合模块。每个专家用1x1卷积完成通道变换，再用一小段深度卷积做空间交互，专家之间参数完全独立。这样每个专家在功能上可以“自组织”成不同风格的局部特征提取器。
我拆过训练后的专家激活分布，发现它们确实出现了明显的功能分化。有的专家倾向于高频纹理区域（被激活的位置大多在边缘、密集目标群），有的专家则偏向平滑区域（天空、路面这类大背景），还有专家专门响应中高层语义信息。这说明MoE不是玄学，而是实实在在把原来混在一个卷积核里的多类能力，拆到了相对独立的分支里。
2.3 负载均衡损失：防止所有请求都挤到同一个专家
MoE最容易出现的训练退化是“路由坍缩”——所有位置都倾向选同一个专家，其余专家变成死参数。ES-MoE专门引入了负载均衡损失，核心做法是统计每个专家被分配到的概率均值，然后让这个分布尽量接近均匀分布。计算方式是：专家p被路由的平均置信度×专家i在TopK中被选中的比例，做一个点积再乘专家数量，作为辅助loss加进总损失。
这个损失在训练早期尤其重要。如果不加或者系数设得太小，我观察到第20个epoch左右路由熵就开始骤降，最终模型表现和把网络加深一层的效果差不多，完全体现不出MoE的优势。但负载均衡系数也不能盲目调大，否则路由变成了均匀瞎选，专家分化同样起不来。这个平衡点我在后面调参部分专门说。
3. 把ES-MoE嵌入YOLO26的三种做法与我的最终选择
3.1 方案A：替换C2f中的Bottleneck（改动最小）
第一种思路最直接：把YOLO26主干C2f结构里的若干Bottleneck替换成ES-MoE模块，让特征提取阶段就具备多专家处理能力。改动量小，一条配置文件就能切过去，训练也不需要额外预热。我在小目标数据集上试过，涨点幅度大约有1个百分点左右，但有个问题是路由发生在主干高分辨率特征图上，显存占用提升明显，训练速度下降不少。
主干阶段特征图的空间尺寸大、通道数多，每个位置都要做专家加权，计算开销自然被放大。如果你资源吃紧，想先快速验证模块有效性，可以用方案A，但要做好训练速度下降的心理准备。我自己的经验是：主干塞MoE适合做点实验，不适合直接上长周期训练。
3.2 方案B：在FPN/PAN融合路径上插入稀疏MoE层
第二种做法是把ES-MoE插入到特征金字塔的融合路径上。FPN/PAN在上采样和下采样过程中，每层特征都要经过一次融合卷积。在融合卷积后接一层轻量MoE，相当于让不同尺度来源的特征在进入下一层之前先做一次“按需整合”。
这个位置的优点在于它直接作用于多尺度融合的关键节点，对密集目标和小目标的跨层信息利用都有帮助。我在密集人群场景上试过，AP最多能涨2.2个点。缺点则是实现复杂度高：PAN结构里有三个不同尺度的路径，每条路径都要单独插模块，配置管理容易乱，调参时还要区分不同尺度的专家数量，总参数量的增加也比较可观。
3.3 方案C：在检测头前挂一个专家混合适配层（最终采用）
综合比较下来，我最终采用的是在检测头之前挂一个独立的ES-MoE适配层。做法是保留YOLO26主干和颈部结构完全不变，只在三个检测分支的输入特征上各加一个shared-weight的MoE层，对最终用于分类和回归的特征做增强。
这个位置的好处非常明显：颈部各层特征已经过了充分融合，语义信息比较成熟，此时做路由选择比在主干阶段更稳定。计算上只处理最后一级特征图，训练和推理开销增加都可控。我在道路监控、密集人群、遥感小目标三个数据集上做了全套对比，这个方案的涨点幅度综合最优，参数增加只有约10%。以下讨论的实验结果都基于这个方案。
4. 训练实录：TopK、专家数量、负载均衡系数怎么调才能真涨点
4.1 第一步先固定TopK=2，把专家数从4调到8
我最初从YOLO-Master里的默认配置出发：4个专家、TopK=2。在小数据集上跑通后，第一步就做专家数量对比。4个专家的分区能力偏粗，路由压力大，很多场景还是会出现“被迫选一个并不太合适的专家”的情况。换到8个专家后，路由可选择空间变大，专家分化更彻底，在密集目标场景的AP提升最明显。
但16个专家的情况反而变差了。分析下来是单个专家训练样本变少，每个分支的拟合不够充分；而且8个专家以上时，负载均衡损失的压力会让路由被迫把样本分给还没准备好的专家，拉低了整体精度。我的结论很直接：对YOLO这类检测器，特征图通道数是固定的，专家数在8附近是甜点位，继续加收益递减。
4.2 负载均衡系数gamma从0.01起步往上涨
负载均衡损失系数gamma是我调了整个项目里最久的一个超参。0.01时基本等于没约束，训练到中后期会出现路由坍缩；0.5以上又会让路由分布被过分拉平，专家之间失掉个性。最终我停在0.08到0.12这个区间，具体数值按数据集做了一次简单搜索。
判断gamma是否合适有个很实用的标准：看训练日志里路由分布的平均熵。如果熵一路走低到接近0.5，说明坍缩了，加大gamma；如果从一开始就稳定在log2(64)附近接近理论最大值，说明gamma太大，专家没有分化。我还会顺手统计每个专家被激活的次数，健康的分布应该是8个专家的激活占比大概在10%到20%之间，没有明显冷门专家。
4.3 学习率与EMA的影响：MoE层比主干更需要“慢热”
ES-MoE层初始化时，路由器和专家都处于“从零学起”的状态，直接沿用主干的大学习率会让路由震荡得非常厉害。我的做法是给MoE层单独设置学习率，设为主干学习率的0.3倍。同时把路由器的最后一次线性层参数用零均值、小方差初始化，这样初期所有专家被选中的概率近似均匀，给专家留出共同适配的空间。
EMA在这里也有影响。YOLO26默认EMA衰减系数下，MoE层权重更新较晚，导致EMA版本模型的专家功能滞后于在线模型约2到3个epoch。我建议拉长EMA warmup或者让MoE层在训练前30%的阶段先跳过EMA统计，等路由稳定后再参与。这个细节在长训练轮数下对最终模型精度的影响能到0.5个点左右。
5. 实测复盘：小目标、密集人群、复杂背景三类场景的精度与开销
5.1 小目标场景涨点最明显：AP_S提升的根源分析
第一个测试集是遥感小目标场景，目标尺寸普遍在8x8到20x20像素之间，背景包含大量的农田纹理、屋顶边缘和道路标线。默认YOLO26在这里的漏检，多数发生在目标与周边纹理对比度低的位置。接入ES-MoE适配层后，AP_S从34.6%涨到37.9%，涨幅在三个场景里最大。
我仔细看了路由热力图，发现低对比度位置上的特征在进入检测头前，倾向于被路由到“高频纹理专家”，这个专家对局部细节保留了更多梯度信息。以前这些位置的特征经过卷积之后会逐渐被周围背景“同化”，现在等于在网络最后一步重新区分了一次前景细节，对NMS之前的置信度提升很直接。
5.2 密集目标场景：漏检率下降但边框抖动要注意
密集人群数据集上的效果同样积极：mAP从72.8%涨到75.2%，漏检率降低了约15%。特别多人重叠区域的检测，路由会把重叠区域分给“空间分辨专家”，让相邻实例的特征边界在最后阶段更清晰，这直接提升了正样本分配时特征的判别力。
但有个现象要提醒：加了ES-MoE后，少数边框的回归抖动明显增加，尤其当两个相邻目标外观高度相似时，同一个位置在不同epoch会被分到不同专家，导致回归头学到不一致的目标。我的修正方案是在检测头的回归分支前单独加一层归一化，并适当提高回归损失的权重，把抖动控制住后才算完整拿到涨点收益。
5.3 复杂背景场景：误检改善明显，推理速度只损失了不到10%
第三个测试集是复杂背景道路场景，有大量树木阴影、车道线、护栏等易混淆背景。默认YOLO26的最大问题是误检率高，容易在纹理复杂的背景区域产生高置信度假阳性。接上ES-MoE适配层后，误检数量下降了约20%，mAP从81.5%涨到83.1%。
推理开销方面，我在单张GPU上对比了纯FP16推理耗时：默认YOLO26约2.1ms，接上MoE后约2.3ms，增加不到10%。这个增加主要来自路由器分支和专家间的结果合并，每层只是多了一次小卷积和TopK操作，比方案A和方案B都轻。如果你上生产环境，还可以把TopK固定成同一个索引表（按区域预计算路由），推理能进一步压缩到接近默认速度。
6. 移植ES-MoE时最隐蔽的四个坑与我的规避方案
6.1 专家坍缩的三种表现与快速判断
专家坍缩是MoE类模块最难排查的问题，它不是直接训练崩溃，而是“假涨点”或“不涨点”。三种典型表现：训练日志里负载均衡损失持续走低；某个专家的权重统计占比超过50%；路由输出梯度基本集中在少数通道。我一开始没有加任何诊断代码，跑了整整一周才发现专家已经死了一半。
我的排查办法是在每个验证epoch后额外计算三个指标：路由熵、专家激活占比标准差、以及分专家输出的平均L2范数。三个指标写入TensorBoard，和mAP曲线放在一起看。任何一项出现异常都能在早期发现，不用等最终精度出来。这套诊断代码我现在做其它结构改动也会保留，收益很大。
6.2 负载均衡损失和分类损失的对抗：别让权重打架
原始YOLO26的损失由框回归、分类、DFL三部分加权组成。引入ES-MoE后，负载均衡损失是第四个损失项。前三个损失都在让模型“更好地完成任务”，而负载均衡损失的目标是“让路由更均匀”，两者在训练后期会直接对抗。
我试过把gamma直接设为0.2，初期正常，但到第40个epoch后mAP曲线开始振荡，检查发现路由被均匀化得失去判别性。后面我把gamma改成warmup策略：前10个epoch保持0.2，把路由稳定住；10个epoch后线性衰减到0.05，让路由逐渐“释放”去追求精度。这个策略比固定gamma稳定很多，不同数据集上都不用再专门调。
6.3 推理阶段把路由换成固定mask的合并技巧
如果想上生产，逐位置动态路由在部署时并不友好。ES-MoE在训练结束后，路由模式会趋于稳定，很多位置的TopK专家选择在相邻epoch已经不再变化。因此可以取最后50个epoch的路由结果是做统计，把特征图划分成若干区域，给每个区域预计算固定的专家组合。
在实验环境里，我把动态路由换成这种固定区域mask后，mAP只掉了0.2个点左右，但省掉了路由器计算，推理速度能追平默认YOLO26。如果你追求极致性能，也可以尝试把专家权重按路由频率加权融合成一个单一卷积，这样MoE就从结构上完全消失，变成一组融合后的参数，代价是专家分化带来的动态适应性会损失一些。
6.4 多尺度训练与MoE的冲突：尺度抖动带来的路由漂移
最后这个坑我花了不少时间才定位。YOLO26默认开启多尺度训练，输入尺寸在每几个epoch内随机变化。MoE路由器是在固定尺度下学的，尺度一变路由分布也跟着变。小尺度输入时高分辨率场景特征不足，路由倾向于均匀分布，直接导致专家在该轮训不到该学的样本。
我的解决方案是先关闭多尺度训练，让模型在固定尺度下先跑完35%的训练轮数，等路由器把专家分化和路由分布都稳定下来后，再打开多尺度训练，同时把负载均衡损失的权重适当降低。经过这个调整，最终模型在小目标数据集上的精度比全程开启多尺度的版本高了约1.1个点，也基本消除了验证集上的epoch间波动。
这轮改造做下来，我最强烈的感受是：结构创新能不能涨点，很大程度取决于“路由的稳定性”和“专家的个性化”之间能否找到平衡。ES-MoE不是加一个模块就能无脑涨点的银弹，但它在复杂背景、小目标和密集目标这三类老大难场景上的特征表达能力增益，是普通加宽加深网络给不了的。如果你也想在自己项目里尝试，建议从我最终采用的适配层方案入手，先在小数据集上把路由熵和专家激活统计监控起来，再慢慢调gamma和专家数量，涨点大概率不会缺席。
