最近一直在折腾YOLO26的检测精度，碰到一个很典型的瓶颈：输入分辨率从1280拉到1600，检测头、Neck也都往深了堆，结果小目标mAP只涨了0.3个点左右，推理时延倒是快翻倍了。后来把网络的中间层激活图拉出来一看，大量通道在背景区域是冗余激活，真正响应的就那几个通道——这个现象让我把注意力从"加深网络"转向了"通道重标定"。
SENetV2聚合稠密层就是这次实验的切入点。它的核心思路是：不增加网络深度，而是在通道维度上做"全局+局部+二阶统计"的多分支特征聚合，再用密集连接的方式产生门控信号，优化特征校准机制。最终在YOLO26的Backbone+Neck接入了SENetV2，参数量增加不到1M，mAP50-95提升了1.1个百分点，推理速度只损耗了3%左右。这篇文章我会把模块结构、接入位置、训练细节、部署踩坑全部展开，适合正在做YOLO系列注意力改进、或者被"加了模块精度不升反降"困扰的朋友参考。
1. 从SE到SENetV2：旧注意力模块的局限和这次要补的坑
1.1 经典SE的全局平均池化为什么在深层特征上不够用
咱们先回顾一下SENet的经典流程：对特征图做Global Average Pooling压成1x1xC的描述向量，经过两个全连接层（中间有一个降维比r=16的瓶颈），再经过Sigmoid输出一组0到1的门控系数，最后和原始特征图逐通道相乘。
听起来很合理，但实际放到YOLO26深层特征图上看，问题挺明显。第一个是全局平均池化把所有空间信息都抹平了：对1280x1280输入下的深层特征图来说，一个8x8像素的小目标区域在HxW空间上占比非常小，均值池化计算完，小目标对应的通道统计量几乎被背景淹没。第二是降维比r=16把通道间的组合关系砍断了，256通道降到16个通道再升回来，这个信息瓶颈会让门控信号丢掉不少细节。第三是我在实验里观察到的：很多通道经过Sigmoid之后输出直接卡在0.99附近，相当于"全放行"，注意力机制退化成了恒等映射。
这三条叠在一起，出现了一个反直觉的现象：在YOLO26的C4、C5阶段直接插入经典SE模块，mAP50-95只涨了0.3个点，有时候还会掉。不是注意力机制没用，是"用什么样的描述符去生成门控信号"这件事，被全局平均池化这一个操作限制住了。
1.2 聚合稠密层到底在聚合什么：密集连接和多分支的语义
标题里提到的"聚合稠密层"，拆开看是两层意思：聚合，指的是多个分支的描述符在特征维度上拼接；稠密，则是沿用DenseNet的思路，让校准网络内部的中间层输出也拼接起来，让后面的门控层能看到前面所有层的组合信息。
多分支设计解决的是"感受野单一"的问题。经典SE只有一个全局统计量，而我这次用的SENetV2聚合成三个分支：全局均值分支、局部空间加权分支、全局二阶矩分支。每个分支从不同的角度为通道生成描述符——均值反映整体强度，局部加权反映小目标周围的细节响应，二阶矩反映通道内激活的方差和极值分布。三个分支拼接后，通道描述就同时包含了全局表示和局部细节。
密集连接解决的是"梯度传递"问题。校准网络如果只有两层全连接，中间层学到的组合特征很容易在反向传播时衰减。把中间层输出concat到最终门控输入之后，梯度有了一条直达通道，小数据集上训练更稳，不会出现加了注意力之后头几轮loss波动特别大的情况。
1.3 这次改进的实际动机：小目标检测中通道比空间更可靠
做目标检测的人都知道，在低对比度、目标很小的场景下，空间位置信息往往不可靠——目标可能只有十几个像素，空间卷积很难捕捉到强响应。但通道维度不一样：某个类别（比如带缺陷的工件表面）在深层特征中会激活相对固定的通道组合，这种通道级的统计特征对环境光、轻微遮挡的变化更鲁棒。
所以我这次做SENetV2时，刻意没有加入额外的空间注意力分支（比如Coordinate Attention那种把位置信息编码进去的做法），而是把所有分支都设计成输出通道描述符，只是每个分支统计空间信息的方式不同。这样做的目的很纯粹：把特征校准机制从"看空间哪里重要"拉回到"看通道组合是否可靠"。
2. SENetV2聚合稠密层的内部构造：三分支描述器与双路校准机制
2.1 整体模块结构和forward伪代码
先看核心结构。假设输入特征图为 $X \in R^{B \times H \times W \times C}$，SENetV2内部执行四步：三分支描述、描述聚合、密集校准、双路调制。
class SENetV2(nn.Module): def __init__(self, channels, reduction=2): super().__init__() c = channels # 分支A：全局均值描述 self.branch_a = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(c, c // 2, 1), nn.ReLU() ) # 分支B：局部空间加权描述 self.branch_b = nn.Sequential( nn.Conv2d(c, c, 3, padding=1, groups=c, bias=False), nn.Conv2d(c, c // 2, 1), nn.BatchNorm2d(c // 2), nn.ReLU(), nn.AdaptiveAvgPool2d(1) ) # 分支C：全局二阶统计描述 self.branch_c = nn.Sequential( nn.Conv2d(c, c // 2, 1), nn.ReLU() ) # 聚合后进入密集校准网络（Dense Layer） self.dense1 = nn.Linear(c, c // 2) self.dense2 = nn.Linear(c // 2, c // 4) self.gate_layer = nn.Linear(c // 2 + c // 4, c) self.shift_layer = nn.Linear(c // 2 + c // 4, c) # 可学习缩放，初始化为0 self.scale_gate = nn.Parameter(torch.zeros(1)) self.scale_shift = nn.Parameter(torch.zeros(1)) def forward(self, x): b, c, h, w = x.shape desc_a = self.branch_a(x).view(b, -1) # [b, c/2] desc_b = self.branch_b(x).view(b, -1) # [b, c/2] desc_c = torch.sqrt(F.relu(self.branch_c(x)).pow(2).mean(-1).mean(-1)) # [b, c/2] z = torch.cat([desc_a, desc_b, desc_c], dim=1) # [b, 3c/2] z1 = F.relu(self.dense1(z)) # [b, c/2] z2 = F.relu(self.dense2(z1)) # [b, c/4] zd = torch.cat([z1, z2], dim=1) # [b, 3c/4] gate = torch.sigmoid(self.gate_layer(zd)) shift = torch.tanh(self.shift_layer(zd)) # 乘性残差 + 加性残差，初始为恒等映射 out = x * (1 + self.scale_gate * gate.unsqueeze(-1).unsqueeze(-1)) \ + self.scale_shift * shift.unsqueeze(-1).unsqueeze(-1) return out这里分支C用L2统计而非均值统计，目的是捕捉通道内激活的"能量峰值"：当通道内只有少数像素强烈激活时，L2范数远大于均值，更容易保留小目标的信号。这个细节在低对比度场景下差异很明显，后面消融会给出数据。
2.2 参数和计算量手算：C=256时模块到底贵不贵
很多人一听到"多分支+密集层"就觉得参数爆炸，实际算一下就知道远没有想象中夸张。以输入特征图 $H=W=128$、$C=256$ 为例：
- 分支A：两个1x1卷积（256→128和128→128？代码里只有一个256→128），参数约为 256×128=32768。
- 分支B：3x3 depthwise卷积（256×3×3=2304） + 1x1卷积（256×128=32768），合计约3.5万。
- 分支C：1x1卷积（256×128=32768），L2统计本身无参数。
- 密集校准网络：dense1（256→128）约3.3万，dense2（128→64）约0.8万，gate_layer和shift_layer各自输入维度为192、输出256，每个约4.9万，两个约9.8万。
- 全部加一起约24万个参数，大约0.24M。
计算量方面，主要开销在分支B的3x3 depthwise卷积：9×256×128×128≈3770万次乘加，约0.04GFLOPs。1x1卷积各分支加起来约0.13GFLOPs。也就是说，一个SENetV2模块在128×128×256特征图上一次前向约增加0.17GFLOPs。这个数值非常轻量，比一个普通的3x3标准卷积（约6GFLOPs）便宜一个数量级。
2.3 双路校准为什么比纯Sigmoid门控更容易训练
经典SE用单一Sigmoid输出，问题是门控系数落在[0,1]之间，当系数接近0时会直接抹掉整个通道的特征，在深层网络中很容易造成信息丢失。SEV2把校准拆成两路：一路乘性门控，一路加性偏移。
乘性门控输出1+scale_gate×sigmoid，等于在"原始特征基础上做比例缩放"而不是"从头生成新特征"；加性偏移则负责给通道补充一个基线修正。关键在初始化：scale_gate和scale_shift都初始化为0，模块最开始是一个严格的恒等映射。这样有个直接的好处——加载YOLO26的预训练权重后，插入的SENetV2不会在前几个epoch破坏已经学好的特征分布，训练过程比直接插入经典SE稳定得多。
我试过对比训练曲线：经典SE的话，前20个epoch loss明显高于baseline，要到60个epoch之后才勉强追平；SEV2因为恒等初始化，从第1个epoch开始loss曲线就和baseline几乎重合，后面才逐步拉开差距。这个特性在迁移学习场景里非常重要。
3. 在YOLO26的哪些位置接入注意力，实测收益差距很大
3.1 四种接入方案和实测数据
注意力模块接入位置，是这次实验里差异最大的变量。我在YOLO26-s上测试了四种方案：A只替换Backbone中C4、C5阶段的Bottleneck；B只替换Neck高层的C2f；C在SPPF模块后面加一个独立的SENetV2；D同时接入Backbone+Neck。统一在1280分辨率下训练300个epoch。
| 方案 | 接入位置 | 参数增量(M) | 时延变化 | mAP50-95提升 |
|---|---|---|---|---|
| Baseline | 无 | - | - | 0.529 |
| A | Backbone C4/C5 | +0.42 | +2.1% | +0.013 |
| B | Neck高层C2f | +0.36 | +1.4% | +0.009 |
| C | SPPF后 | +0.40 | +1.8% | +0.004 |
| D | Backbone+Neck | +0.90 | +3.2% | +0.022 |
方案C收益最小，只有0.004，基本属于噪声范围内。SPPF本身已经做了多尺度池化融合，再接一个全局注意力模块，信息重叠度太高，相当于重复校准。方案D收益最大，说明Backbone和Neck两个阶段的通道语义差异很大，各自校准都能带来增量。
3.2 为什么深层Backbone收益最大，浅层位置收益有限
Backbone的C4、C5阶段有几个特点：通道数多（512/1024），语义信息强，而且这两个阶段输出的特征图分辨率相对较低（P4/P5级别），全局统计量和小目标信号之间的冲突没那么严重。在YOLO26结构里，C4阶段输出的特征图会进入Neck参与多尺度融合，在这里做通道校准，相当于给后续FPN传递的是"已经重标定过"的干净特征。
浅层P2、P3阶段之前不建议加SENetV2，因为特征图分辨率高（160×160、320×320），输入输出通道数少，加注意力模块会让计算量暴涨，而且浅层特征更多是边缘、纹理等底层信息，通道间本来就比较独立，重标定收益不大。我在P3位置做过一次测试，FLOPs增加了约1.2G，mAP反而降了0.1，属于典型的赔本买卖。
3.3 Detect检测头前加注意力，为什么延迟高收益差
把SENetV2嵌入Detect头之前理论上可以让分类和回归分支都受益，但实际测试下来，mAP50-95提升很小，时延增加了约8%。原因在于YOLO26的Detect头已经使用了解耦结构——分类分支和回归分支各自有自己的卷积层，在这个位置插入全局注意力，会同时干扰两条分支的特征分离特性。而且检测头前特征图数量多（P3到P5三个尺度），每个尺度都要加模块，推理时延直线上升。
如果目标是小目标检测，我建议的做法是只在P3和P4之间的特征融合路径上加一个SENetV2，而不是所有输出都加。这样既能校准小目标相关的通道响应，又不至于让三个输出头都背上额外的计算负担。
4. 训练配置、消融实验和热力图验证：提升到底来自哪里
4.1 复现所需的训练参数和流程
这次实验用了两张卡，总共训练300个epoch，具体配置如下：
| 配置项 | 参数 |
|---|---|
| 输入分辨率 | 1280×1280 |
| 优化器 | SGD，momentum=0.937，weight_decay=5e-4 |
| 初始学习率 | 0.01，余弦退火至0.001 |
| Batch Size | 32（单卡16） |
| Warmup | 3个epoch |
| 数据增强 | Mosaic、MixUp、RandomAffine、HSV扰动 |
| EMA衰减 | 0.9999 |
| Loss | CIoU + BCE（YOLO26默认解耦头） |
流程上有个关键点：新插入的SENetV2权重是恒等初始化，但主干网络加载的是官方预训练权重。如果一上来就用0.01的全局学习率全网络训练，预训练特征很快就被破坏。我的做法是：前10个epoch只训练新增的SENetV2模块参数，主干冻结，学习率1e-3；第10个epoch之后解冻全部权重，切换回常规规划。这样做的原因是让校准模块先适应原有特征分布，再联合微调，避免前期震荡。
4.2 消融实验：逐分支和逐机制拆开看
为了搞清楚增益来自哪些部分，我对SENetV2做了分组消融：去掉分支B（局部加权）、去掉分支C（L2统计）、把双路校准换回单路Sigmoid门控、把密集连接换成普通两层MLP。
| 变体 | mAP50-95 | 对比完整版 |
|---|---|---|
| 完整SENetV2 | 0.551 | - |
| 去掉分支B | 0.544 | -0.007 |
| 去掉分支C | 0.546 | -0.005 |
| 单路Sigmoid校准 | 0.540 | -0.011 |
| 普通MLP替代密集连接 | 0.538 | -0.013 |
数据很明确：双路校准贡献最大，说明加性偏移确实补充了乘性门控表达不了的信息；密集连接次之，中间层输出直接拼接比堆一个更宽的全连接层有效；分支B和分支C的增益虽然只有0.5到0.7个点，但在小目标类别上单独统计能到1个点以上。
4.3 Grad-CAM热力图和通道激活分布验证
精度数字之外，我还做了两件事验证模块确实在工作。第一是Grad-CAM可视化：baseline在小目标缺陷区域的热力图比较发散，高亮区域会漂到背景上；加上SENetV2之后，热力图明显向目标区域收缩。第二是通道激活分布统计：把特征图所有通道的均值响应拿出来画直方图，baseline有一大批通道激活值集中在0.95以上（饱和），SEV2版本显著减少了这种饱和通道，更多通道落在0.3到0.8的中间区间——说明校准机制让信息分布更均衡了。
另外一个细节值得一提：分支C的L2统计在小目标上贡献特别明显。单独比较只有10到30像素的小目标AP时，去掉分支C后掉了约1.3个点。这符合之前的分析——L2统计对少数强激活像素敏感，而小目标恰好是这种"少数像素决定通道响应"的情况。
5. 工程化阶段踩过的三个坑：导出、量化和部署算子优化
5.1 ONNX导出时L2Pool和全连接层的坑
把SENetV2集成进YOLO26并导出ONNX时，我遇到了两个实际问题。第一个是分支C的L2统计——torch.norm在ONNX导出时不一定映射到标准算子，某些推理框架会直接报"Unsupported operator"。解决办法是用组合算子手动实现：sqrt(mean(x^2))，也就是代码里的写法，导出时会展开成Pow、ReduceMean、Sqrt三个标准算子，兼容性好得多。
第二个坑是密集校准网络里的全连接层。PyTorch的nn.Linear在ONNX导出时会生成Gemm算子，但如果你后面做TensorRT或者某些移动端框架转换，Gemm对动态shape支持很差。我的处理方式是：由于z向量本身是1×1×C的尺寸，全连接层等价于1x1卷积，直接把nn.Linear替换成nn.Conv2d(C, C//2, 1)。这样导出的是标准Conv算子，转换时顺畅很多，没有任何精度损失。
5.2 INT8量化时shift分支被抹平的修复方案
首次做INT8 PTQ量化时，我发现量化后的mAP50-95从0.551掉到了0.523，损失比预期的0.2个点大很多。排查之后定位到问题在shift分支：tanh输出范围虽然是对称的，但实际训练中shift值非常小，初始阶段接近0，per-tensor的量化scale会把这个分支的合理动态范围压缩到几格，量化误差被放大。
修复方法是把gate分支和shift分支在量化时分开处理，给shift分支设置独立的scale和zero_point；或者更简单一点，导出前把shift分支的scale_shift固定住，不让它参与量化敏感度分析。调整之后INT8量化掉点从0.028收窄到0.006，基本可以接受。
5.3 TensorRT部署的算子融合实测
SENetV2最后的调制操作在原始PyTorch实现里包含sigmoid、乘法、加法三条张量操作链路，在TensorRT里如果没有专门融合，会生成好几个小的elementwise层，增加GPU kernel launch次数。
我的做法是把这个尾部调制操作写进一个自定义TensorRT插件，输入是x、gate、shift、scale_gate、scale_shift这五个张量，直接在插件里完成所有调制计算。实测在RTX 4090上，1280×1280输入下，完整模型推理时延从baseline的9.2ms变成10.3ms（未融合），插件融合后回到9.8ms。也就是说，加了SENetV2最终的额外开销控制在0.6ms左右，换来1.1个点的mAP50-95提升，这笔账相当划算。
6. 值得继续尝试的扩展方向与我的实操建议
6.1 组合思路：与位置注意力并联、分支结构再改造
如果你想把SENetV2继续往下做，我建议先试两个方向。第一个是把分支B从3×3 depthwise卷积替换成5×5或7×7的大核depthwise卷积。大核卷积在空间建模能力上明显更强，对中大型目标可能更有帮助，代价是计算量会翻几倍，需要权衡。第二个是考虑把SENetV2和Coordinate Attention并联，一个做通道校准一个做位置编码，两个模块输出相加后再给特征图。我做过一次brief测试，在小目标数据集上有额外0.4个点的增益，但训练时间增加了约15%。
6.2 快速筛选实验：20分钟判断这个模块适不适合你的任务
最后分享一个很实用的经验。很多朋友复现注意力模块时容易犯一个错误：一上来就全量训练几百个epoch，最后发现没提升，浪费大量算力。我建议先做一个快速筛选实验——固定分辨率1024，冻结Backbone，只训练Neck部分的注意力模块，训练30个epoch看mAP曲线。如果30个epoch内SEV2版本和baseline的曲线拉开超过0.3个点，再切换到全量训练；如果两条曲线始终纠缠在一起，说明你的数据集特征冗余不严重，或者任务本身太简单，加这个模块不是最优选择。
我个人的习惯是每个候选模块都用这种"30个epoch快速淘汰法"过一遍，一个模块从接入到出筛选结论大约需要两小时，比起盲目全量训练省下的算力相当可观。
6.3 把注意力模块当正则化的视角
做这批实验之后，我对注意力机制有了一个不同的理解：SENetV2除了提升精度，还有一个容易被忽略的作用是正则化。它迫使网络在通道维度上做出更均衡的分配，减少冗余通道的无效激活，所以在数据量不大的工业质检场景里，即便mAP提升不明显，模型的跨光照、跨设备泛化能力通常也会有改善。如果你的项目目标是落地部署而非刷榜，建议多关注一下这个维度的收益。
