一、本文介绍
🔥本文给大家介绍使用 CGMM跨模态全局建模模块 改进RT-DETR网络模型，通过跨模态全局建模机制对不同来源的特征进行更充分的对齐与交互，使模型能够在特征融合阶段同时建模空间维度和通道维度的全局上下文信息，从而缓解不同模态或不同层级特征之间的不一致问题。这样可以使RT-DETR在复杂场景下更准确地区分目标与背景，尤其在低光照、遮挡、雾雨干扰或信息分布不均衡的情况下，依然能够保持较强的目标感知能力。其优势在于能够提升全局特征表达和跨特征融合质量，增强模型对复杂环境和困难目标的鲁棒性，同时由于该模块通过结构化的全局交互实现信息增强，具有较好的可插拔性，能够方便嵌入RT-DETR颈部或融合层中，提升检测精度、定位稳定性和泛化能力。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR创新改进！🔥
🔥RT-DETR创新改进目录：全新RT-DETR 有效涨点改进目录 | 包含各种卷积、主干改进、各种注意力机制、Neck特征融合改进、损失函数、AIFI创新改进、独家创新、小目标检测、特殊场景检测等最全大论文及小论文必备创新改进点
🔥全新RT-DETR创新改进专栏地址：最全RT-DETR创新改进高效涨点+永久更新中（至少500+改进）+高效跑实验发论文
本文目录
一、本文介绍
二、CGMM跨模态全局建模模块介绍
2.1 CGMM跨模态全局建模模块结构图
2.2 CGMM模块的作用：
2.3 CGMM模块的原理
2.4 CGMM模块的优势
三、完整核心代码
四、手把手教你配置模块和修改tasks.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
3.修改tasks.py文件
五、创建涨点yaml配置文件
🚀 创新改进1🔥: rtdetr-l-CGMM.yaml
🚀 创新改进2🔥: rtdetr-r18-CGMM.yaml.yaml
🚀 创新改进3🔥: rtdetr-r50-CGMM.yaml.yaml
六、正常运行
二、CGMM跨模态全局建模模块介绍
摘要：可见光-红外目标检测技术因其在弱光、雾天及雨天环境中的卓越性能而备受关注。然而在复杂场景中，不同传感器采集的可见光与红外模态数据存在信息不对称问题，可能导致跨模态融合效果欠佳，进而影响检测性能。现有方法多采用空间域变换器来捕获互补特征，却忽视了频域变换器在挖掘互补信息方面的优势。为解决这些问题，我们提出了一种名为FreDFT的频域融合变换器用于可见光-红外目标检测。该方法创新性地采用多模态频域注意力机制（MFDA）实现模态间互补信息挖掘，并通过混合尺度频域特征融合策略设计频域前馈层（FDFFL），以增强多模态特征表现。为消除模态间信息失衡，构建了跨模态全局建模模块（CGMM），实现像素级空间与通道维度的跨模态特征交互。此外，开发了局部特征增强模块（LFEM），通过多卷积层结构与通道洗牌技术强化多模态局部特征表征，从而提升特征融合效果。大量实验结果证实，与其它最先进方法相比，我们提出的FreDFT在多个公开数据集上均展现出优异性能。<
