做遥感目标检测的同学，八成都被小目标坑过。尤其是多模态遥感图像——可见光加红外、或者光学加SAR——图倒是拍了不少，飞机、车辆、油罐、船舶这种目标，放到大场景里就十几个像素，别说检测框稳不稳，连人眼辨认都费劲。传统做法是先把低分辨率图像超分放大，再跑YOLO这类检测器，但老实说，这个两段式流程在实际项目中效果并不理想：超分模型和检测模型是分开优化的，超分追求的是像素好看，检测要的是语义和位置准确，二者的目标并不一致，误差还会一级一级累积放大，推理速度也扛不住。
后来我接触到SuperYOLO这套思路，它把超分辨率任务作为辅助分支塞进检测网络，和YOLOv5、YOLOv7这类检测框架联合训练，推理的时候干脆把超分分支丢掉，只保留轻量检测头。也就是说，训练时超分模块逼着主干网络去学高频细节，检测时这部分计算完全不用跑，实际部署开销几乎不增加。这篇文章我就把这套东西从设计动机到架构细节、训练调参、部署落地、踩坑实录，完整梳理一遍，适合正在做遥感目标检测、想通过超分辅助提升小目标召回率、或者纠结多模态数据怎么融合上检测框架的人。
1. 设计思路拆解：为什么要在检测网络里硬塞一个超分辨率模块
1.1 遥感小目标检测的“分辨率困境”
先想清楚问题本质。遥感图像里的目标之所以难检，很多时候不是模型能力不够，而是输入图像本身的有效细节就不足。一个车辆目标在可见光图像里可能只有10×10像素，到了红外图像里更糟，边缘模糊、对比度低，背景里的道路、屋顶和它长得几乎一样。用YOLOv5直接训练，下采样到某个尺度后目标特征就被稀释了，大目标还能靠上下文兜底，小目标直接变成背景噪声。
这也是为什么很多人第一时间想到超分辨率。直觉上，图像先放大两倍，目标像素变多，检测器不就能看清了吗？听着合理，但实际落地时问题一堆。
1.2 分步“超分+检测”流程的三宗罪
第一宗罪是误差累积。超分模型生成的图像毕竟是重建的，不是真实高频信息，重建产生的伪影和偏差会直接传给检测器。比如超分模型把一辆浅色车辆周围的阴影增强得过于锐利，检测器可能把它当成第二个目标，或者反而压制了原本微弱的车顶特征。第二宗罪是计算开销。一张遥感大图动辄几千乘几千像素，整图超分一次耗时很高，再做检测，整个流程的推理延迟成倍上升。第三宗罪是优化目标割裂。超分模型通常用PSNR、SSIM这类像素指标训练，它会把注意力放在整个图像的纹理恢复上，但检测任务只关心目标区域是不是足够清晰、边缘是不是可区分。大量计算被浪费在不影响检测结果的背景天空、平坦地面上。
我踩过一个很典型的坑：在一组夜间红外图上，单独训练了一个超分模型，PSNR提了1.8dB，很开心，结果把超分后的图喂给YOLOv7，mAP50反而掉了两个点。原因就是超分模型为了追求全局像素逼近，把红外图像里的热噪声也恢复了，检测器反倒被噪声误导。
1.3 SuperYOLO的破局点：把超分定义成辅助任务
SuperYOLO的做法和“先超分再检测”完全反过来。它不把超分当成预处理，而是把它当成训练阶段的辅助任务。在主干网络中并联一个轻量超分分支，输入低分辨率多模态图像，同时输出超分重建结果和目标检测结果。训练时约束两部分：检测损失保证框准类对，超分损失逼着网络中间特征尽量恢复高频细节。这样一来，主干网络在提取目标特征时，会主动保留对小目标有价值的高频信息，因为这些信息既有助于超分重建，也有助于检测头分类。
最关键的一点是推理阶段可以把超分分支完全摘掉。主干网络已经学成“自带高频提取能力”的状态，检测头直接基于这个特征输出结果。网络实际部署的还是轻量检测模型，没有额外超分前处理，也就没有推理负担。这个设计思路解决的是“红利归训练，开销归推理”的矛盾。
1.4 为什么选择YOLOv5和YOLOv7作为底座
YOLOv5成熟稳定，训练生态好，自有数据增强和正负样本分配策略都比较省心，很适合作为第一版SuperYOLO的检测底座。YOLOv7则在v5基础上引入了重参数化卷积和更深的ELAN结构，推理速度和精度都有提升，但对多模态融合分支更敏感，调参难度大一些。实际项目中我习惯用v5做快速验证，确认超分辅助带来的收益后，再整体迁移到v7上做精度冲刺。
2. 核心架构与关键模块解析
2.1 多模态融合：不是简单把通道拼起来
处理多模态遥感图像的第一步就是融合。很多初学者直接把可见光三通道和红外单通道拼成一个四通道输入，丢给检测网络。这种做法不是不行，但在遥感场景下效果非常受限，因为不同模态的特征分布差异太大，可见光提供纹理和颜色，红外提供热辐射差异，两者在浅层卷积里就被平均掉了，后面网络很难学到互补关系。
SuperYOLO这类方案里，比较稳妥的做法是分模态提取浅层特征，再通过一个融合注意力模块做加权合并。这里面的核心不是“拼通道”，而是“让网络自己决定信任哪个模态的哪个区域”。比如白天场景，可见光纹理丰富，红外信号相对次要；夜间场景，红外目标显著，可见光可用信息少。简单的通道拼接没有这种自适应能力。
2.2 轻量超分模块的搭建要点
超分分支是整个框架里最容易加重的部分，一定要控制参数量。目前比较实用的做法是用残差密集块堆叠，配合亚像素卷积上采样。残差密集块的作用是让高频信息在网络内部反复传递，局部特征每一层都能被后续层直接访问，适合小目标重建；亚像素卷积则把低分辨率特征重组到高分辨率空间，比普通转置卷积更平滑，生成的高频结构不容易产生棋盘格伪影。
这里有个细节我特别想强调：超分分支的输入、输出分辨率不需要覆盖全图。一张遥感大图如果整图做2倍超分，显存会爆炸，训练也慢。SuperYOLO思路下的常见做法是在网络中间特征图上做超分约束，而不是对输入图直接放大。也就是说，超分分支作用在特征层，监督信号用下采样后的高分辨率图作为目标，这样显存开销可控，但依然能引导网络学习高频细节。
还有一个容易踩的坑：超分分支不是越深越好。我在项目里试过把残差密集块堆到10层，检测mAP没有提升，训练时间倒是翻倍了。后来压到4层，超分损失降得没那么快，但检测效果最稳。这说明超分模块的定位是“辅助”，不是“主赛道”，够用就行。
2.3 检测头怎么衔接超分特征
超分分支输出的高分辨率特征和检测主干需要的多尺度特征不一定直接兼容。常见做法是把超分分支的重建特征通过1×1卷积压缩通道后，注入到FPN的某一层，再让检测头使用融合后的特征。YOLOv5的FPN本身是多尺度融合，高层语义信息向下传递，低层位置信息向上传递，超分特征如果加在浅层，能显著提升小目标的边缘响应。
如果选择YOLOv7做底座，要特别留意重参数化结构。YOLOv7的深层分支在训练时会展开多条并行路径，超分分支和这些路径拼接时，如果融合方式只是简单Concat，会导致训练初期梯度波动大。建议先用YOLOv5确认超分融合的有效性，再迁移到YOLOv7，并适当把融合后的通道数减半，降低显存压力。
3. 实操过程与训练调参记录
3.1 多模态数据准备：对齐是前提，切片是刚需
拿到的原始多模态遥感图像，第一件事不是训练，而是严格配准。可见光和红外的传感器位置不同，即使经过几何校正，也存在几个像素的偏差。对于小目标来说，几个像素的偏差足以让融合特征完全错位。我在项目中用互信息配准做了粗对齐，再用边缘特征做精对齐，误差控制在一个像素以内之后，检测精度才有明显提升。
然后是切片。遥感原图太大，不可能整图喂给模型。一般用固定大小滑窗切片，窗口尺寸需要考虑两个因素：目标尺寸和感受野。如果目标只有10像素，窗口取512×512完全够用；如果目标达到50像素以上，建议窗口至少取640×640，否则目标在切片里占比过小，正样本质量堪忧。相邻切片之间要有重叠率，我习惯设10%到20%，避免目标被切在边缘导致标注框被截断。
切片之后必须做数据增强。多模态数据和单模态不太一样，不能随便用颜色抖动类的增强，因为红外图像的强度分布和可见光完全不同，剧烈的亮度变化会让融合模块学歪。我常用的安全增强包括旋转、翻转、缩放和轻微平移，这些几何增强对两个模态保持一致性，不会破坏模态间的对应关系。
3.2 损失函数与训练阶段的设计
SuperYOLO的损失函数一般写成检测损失加超分损失的加权和：
L = λ1 * L_det + λ2 * L_sr
检测损失沿用YOLO系常用的GIoU或CIoU损失加分类损失和置信度损失；超分损失如果是特征层监督，可以用L1或L2，我实测L1比L2更稳，L2对离群点太敏感，红外图像里的噪声点容易把重建梯度带偏。λ2的取值不需要太大，0.1到0.5之间通常就够，超分分支的作用是引导特征，而不是主导优化。
训练阶段我强烈建议分两步走。第一步先冻结超分分支，单独训练检测主干到基本收敛，这个过程让检测头先学会基础的目标定位能力，避免早期梯度被超分分支干扰。第二步解冻超分分支，联合训练。这时候检测损失已经收敛得差不多，超分损失可以慢慢把主干特征往高频方向带，整个训练过程稳定得多。
我曾经试过从零开始端到端训练，结果前20个epoch检测损失和超分损失互相打架，mAP几乎不涨，后来改成两阶段训练，同样数据量下mAP50提升了接近3个点。这就是典型的优化器不知道先照顾谁的问题。
3.3 关键训练参数参考
下表是我在多模态遥感数据集上反复调出的一个比较稳的配置，适用于YOLOv5底座，切换YOLOv7时主要调整批量大小和初始学习率。
| 参数项 | 推荐取值 | 调参说明 |
|---|---|---|
| 输入尺寸 | 640×640 | 兼顾小目标留足像素和显存开销 |
| Batch Size | 16（单卡） | 多模态融合后输入通道多，显存紧张 |
| 初始学习率 | 0.01（两阶段第二段降至0.001） | 过高容易把超分分支带崩 |
| 优化器 | SGD + 动量0.937 | Adam在某些场景收敛快但泛化差 |
| 超分损失权重 | 0.1~0.3 | 权重过大会压制检测主任务 |
| 超分放大倍数 | 2 | 倍数过高会引入过多重建负担 |
| 融合前特征通道 | 64 | 通道过大，融合模块参数爆炸 |
实际操作时不要直接抄这套表，先用小批量跑20个epoch看损失曲线，再决定要不要调。尤其是多模态数据，模态间差异越大，学习率越要保守。
4. 性能评估与部署落地经验
4.1 用mAP验收，别迷信PSNR
很多团队在汇报SuperYOLO效果时，喜欢把超分分支的PSNR也拿出来说事，仿佛PSNR越高越能证明算法的超分能力。但在实际工程中，PSNR和检测精度没有必然联系。我见过一个模型超分PSNR提高了1.5dB，但mAP50几乎没动；另一个模型PSNR只提高了0.6dB，mAP50却涨了2.8个点。原因在于检测任务关心的是局部高频语义信息，而PSNR是整个图像所有像素的全局平均误差，大片的平坦区域会稀释局部变化的影响。
所以项目验收必须以mAP50、mAP50:95、小目标类的AP作为核心指标，PSNR作为辅助参考。尤其是mAP50:95，它能反映预测框和真实框的匹配精度，对于小目标来说，这个指标更严格也更能体现超分辅助带来的位置精度收益。
4.2 YOLOv5与YOLOv7的真实差异观察
我手里有两个版本的实际对比数据。YOLOv5底座训练速度快，显存占用低，多模态融合模块的调参空间大，适合快速迭代。YOLOv7底座在相同超分辅助配置下，mAP50可以再提升约1.5到2个点，尤其是中大型目标的位置回归更稳定，但训练时间约增加50%，推理速度反而更快。原因在于YOLOv7的重参数化结构在推理时可以把多分支折叠成单卷积，虽然训练开销大，部署时很划算。
如果项目对检测实时性要求高，比如无人机平台，我建议用YOLOv7部署版；如果数据场景复杂、需要频繁实验换方案，YOLOv5底座更灵活。SuperYOLO的超分分支和融合模块本身可以原样迁移，主要改动集中在检测头部分，这部分和YOLO版本耦合程度并不深，迁移成本可控。
4.3 部署中的显存和速度优化
真正部署时，第一步就是把超分分支从推理图里完全剃掉。这一步听起来简单，但实际操作中要小心：如果训练时使用的模型文件包含了超分分支的权重，导出ONNX时务必把无关节点剪枝掉，否则推理框架会白跑一大段重建计算，速度完全不符合预期。
第二步是考虑多模态输入的前处理效率。可见光和红外的数据加载、归一化、图像增强如果都放在CPU端串行处理，CPU会成为瓶颈。我建议把两个模态的预处理放进同一个Dataloader流程里并行执行，或者提前在离线阶段完成标准化存储，推理阶段直接读取张量，能省下不少时间。
第三步是精度校准。如果部署平台支持INT8量化，可以尝试量化感知训练，但我提醒一句：多模态融合模块对量化误差比较敏感，尤其是红外通道的动态范围往往和可见光差异很大，需要在校准集里加入足够多的夜晚样本，否则量化后小目标的召回率会明显下降。
5. 常见问题与排查技巧实录
5.1 模态间配准错位导致检测框偏移
表现是训练时损失一直降不下来，验证集上检测框的位置和真实框系统性偏移。排查思路很简单：先把两个模态按相同坐标叠加，肉眼观察边缘是否重合。如果边缘有错位，别急着调网络，先修数据。我遇到过同一个目标在红外图里明显比可见光偏右两个像素的情况，不修正的话融合模块根本学不会稳定的空间关系。
5.2 超分分支训练半天不收敛
先看超分损失曲线。如果超分损失完全平了，可能是超分分支的输入特征不够，或者监督目标分辨率设置不合理。还有可能是超分分支被放在了太深的网络层，低分辨率特征已经丢失了大量高频信息，再怎么重建也补不回来。建议把超分分支接在浅层特征输出处，并且检查监督信号是否做了对应下采样。
5.3 加了超分分支反而掉点
这种情况我在不同数据集上遇到过两次。第一次是因为红外图像的噪声太大，超分分支把噪声当成了高频细节来恢复，导致检测头要多学一个“去噪”任务。第二次是因为超分损失权重给的太高，主干特征被超分任务带偏，牺牲了语义信息。解决办法分别是：对红外图像先做轻量去噪预处理；把λ2调小到0.1左右，观察检测损失变化。
5.4 快查速查表
| 问题现象 | 可能原因 | 优先排查方向 |
|---|---|---|
| mAP不涨且超分损失不降 | 超分分支位置过深 | 移到浅层特征输出 |
| 检测框偏移 | 模态配准误差 | 检查像素级对齐 |
| 小目标召回低 | 切片尺寸过大 | 缩小滑窗或增加重叠 |
| 训练显存OOM | 超分分支过重 | 减小残差块数量或通道数 |
| 量化后掉点严重 | 红外通道动态范围问题 | 校准集增加夜间样本 |
| 推理速度慢 | 超分节点未剪除 | 导出ONNX时重构图 |
最后再分享一个小技巧
多模态遥感的目标检测和普通自然图像检测最大的不同是“信任分配”：不同时候你得让网络知道哪个模态更可靠。SuperYOLO给出的答案是用超分辅助任务去间接逼主干特征保留高频信息，但我的个人体会是，还可以在融合模块里加一个很轻的空间调制门控，让网络按区域自动选择模态权重。这个改动不影响超分分支结构，只在融合阶段多几个参数，实测下来对雨天、雾天这类复杂气象场景的稳定性帮助很大。如果你准备在自己的项目里复现SuperYOLO，我的建议是第一版老老实实按原始框架搭，跑通后再加自己的融合调制，别一上来就堆结构，容易把有效信息淹没在一堆可调参数里。
