在红外-可见光双模态目标检测领域，当前主流落地算法大多基于YOLO系列卷积模型改造而来，虽能通过双分支拼接方式适配双模态输入，但相较于DEIMTransformer架构，YOLO存在难以逾越的结构性缺陷，极其不适配双模态特征的融合与建模任务：其一，YOLO以卷积为核心，依赖固定感受野抓取局部特征，缺失全局长距离依赖建模能力，无法对可见光纹理细节、红外热辐射特征做全局关联匹配，难以充分发挥双模态的互补优势；而DEIM凭借Transformer原生全局建模特性，可完整捕捉双模态全局上下文信息，特征表征能力远超卷积架构。其二，绝大多数YOLO双模态方案只能依赖浅层特征融合，模态特征尚未完成独立解耦学习就相互叠加，极易产生模态噪声干扰、有效特征淹没等问题，进一步放大了卷积模型的固有短板，整体检测精度与鲁棒性存在明显上限，而DEIM架构可完美适配深层多尺度融合范式，最大化挖掘双模态有效特征。
针对现有YOLO系双模态检测方案的固有缺陷，本文跳出传统卷积单一流域的改造思路，依托HGNetv2高性能骨干网络，创新性搭建双流独立编码+同尺度深层特征融合的DEIM双模态特征提取架构，并结合自适应可变查询的DEIM检测头完成精准解码，构建了一套全新的高精度双模态目标检测模型。通过双分支独立学习模态专属特征、深层跨尺度融合互补信息，彻底规避浅层融合的模态干扰问题，同时借助DEIM全局建模、自适应聚焦的优势，大幅提升复杂场景下双模态目标的检测精度与泛化能力。
1. 整体架构设计
整个网络分为三大模块：双流HGNetv2骨干编码模块、多尺度特征融合模块（FPN+PAN）、DEIM检测解码模块。
1.1 双流HGNetv2骨干网络（双分支独立提取特征）
架构采用完全对称的双分支结构，一路输入可见光RGB图像，另一路输入红外单通道图像，两个分支均使用HGNetv2作为特征提取骨干，参数独立，分别学习对应模态的特征分布。
HGNetv2由HGStem与多级HGStage堆叠而成：
HGStem：对原始输入做下采样，得到P1特征图，下采样倍率1/4，通道数16；
HGStage1~HGStage4：逐级完成特征提取与下采样，依次输出P2(1/4,64ch)、P3(1/8,256ch)、P4(1/16,512ch)、P5(1/32,1024ch)多尺度特征。
两个分支各自推理完成后，在相同尺度上对特征进行concat拼接融合：可见光P5与红外P5拼接得到融合P5；可见光P4与红外P4拼接得到融合P4；可见光P3与红外P3拼接得到融合P3。
设计思路：不在网络浅层过早融合，避免模态噪声污染；等到两个模态都完成基础特征提取之后，在多尺度特征层面做融合，保留各自模态学到的特征表征，最大化红外与可见光信息互补。以DEIM的n和s版本的结构图作为介绍
1.2. FPN-PAN 多尺度特征融合模块
双流融合后的P3/P4/P5送入FPN+PAN结构完成跨尺度信息交互：
1.2.1. FPN自上而下通路
P5先经过input_proj把通道映射到统一维度，送入Transformer Encoder做全局特征建模，增强远距离目标依赖关系；经过lateral_convs（1×1卷积+BN）调整通道，最近邻上采样×2，与P4投影后的特征concat融合，送入fpn_blocks做特征精炼；继续上采样，与P3投影特征融合，完成自上而下的强语义信息向下传递。
1.2.2. PAN自下而上通路
FPN输出特征再走自下而上的PAN分支，通过downsample_feat模块完成下采样，逐级concat，送入pan_blocks，把底层细粒度定位信息向上传递，弥补FPN位置信息弱化的问题。
Transformer Encoder作用：针对小目标密集场景，捕捉全局上下文关联，缓解红外图像纹理缺失带来的小目标漏检问题。
1.3. DEIM Decoder 检测头
经过FPN-PAN充分融合后的多尺度特征，送入DEIM Decoder。DEIM基于可变形查询，相比传统DETR，能够自适应调整采样点位置，聚焦目标区域，对红外模糊、可见光遮挡的目标拥有更强的边界回归与分类能力，最终输出目标类别与边界框预测。同时相较于YOLO系列固定卷积采样、局部感受野的检测机制，DEIM具备更强的全局建模与自适应特征聚焦能力，完美适配双模态融合特征的复杂表征特性。
2.核心创新点总结
2.1.双流独立HGNetv2编码 + 同尺度特征融合策略
可见光、红外两个模态拥有独立骨干分支，各自学习模态专属特征；等到多尺度特征提取完成后再做同维度concat，避免浅层融合带来的模态冲突，充分利用可见光纹理与红外热辐射互补特性，解决YOLO双模态浅层融合噪声干扰、特征利用不充分的痛点。
2.2.Transformer增强的FPN-PAN融合结构
在最高层P5引入Transformer Encoder，建模全局上下文，强化远距离目标、小目标特征表征；FPN传递高层语义，PAN传递底层定位信息，兼顾分类置信度与边界框定位精度，弥补YOLO系列全局感知能力不足的缺陷。
2.3.轻量化迭代优化
原型版本通道256，优化版本将投影通道降至128，精简Transformer维度，实现精度与推理速度的权衡，兼顾科研指标与落地部署需求。
2.4.DEIM检测头适配双模态特征
跳出主流YOLO检测头架构，引入DEIM可变形查询机制，自适应聚焦目标区域，对双模态场景下遮挡、暗光、低纹理目标鲁棒性远超传统YOLO检测头，大幅提升复杂工况下的检测稳定性。
3.代码和视频讲解
视频讲解：
DEIM：超越 YOLO，快准双绝！DEIM：让 DETR 告别慢收敛，开启实时检测新纪元_哔哩哔哩_bilibili
DEIM：超越 YOLO，快准双绝！一个视频告诉你DEIM如何搭建backbone_哔哩哔哩_bilibili
代码获取：
YOLOv8_improve/DEIM.md at master · tgf123/YOLOv8_improve · GitHub
4. 项目实战
第一: 将下面的核心代码复制到DEIMv2-main\MM_DEIM路径下，如下图所示。
第二：将模型配置文件复制到DEIM.YAMY文件中
第三：跑的结果
5. 实验预期与适用场景
该架构适配红外-可见光双模态目标检测场景，典型场景包括夜间安防、车载多光谱感知、航拍遥感双模态检测。优势：夜间暗光场景依靠红外分支保障目标检出；白天强光、阴影场景依靠可见光分支补充纹理细节。可进一步拓展方向：增加模态注意力模块，动态学习两个模态的权重，抑制某一分支在恶劣条件下的噪声；引入模态对齐损失，减少可见光与红外图像空间偏移带来的特征错位。
6. 小结
本文搭建了一套基于HGNetv2双流骨干、FPN-PAN+Transformer增强、DEIM检测头的双模态目标检测网络。区别于当前市面上主流的YOLO改造型双模态方案，本模型摒弃了浅层简单融合、局部特征建模的固有范式，采用双分支独立编码、深层多尺度融合的思路，彻底规避模态特征干扰问题，充分挖掘红外与可见光的互补信息。同时结合DEIM自适应解码优势，兼顾全局语义与精准定位，通过轻量化优化后，在多模态检测任务上实现了精度与速度的优质平衡，为多光谱高精度目标检测提供了更优的基线方案。
