一、本文介绍
🔥本文引入FFM特征融合模块，提升RT-DETR多模态融合目标检测中的跨模态交互能力，利用多头跨注意力机制在全局范围内建立不同模态特征之间的关联，实现深层次互补信息挖掘。相比直接拼接或相加方式，FFM能够捕获模态间复杂的非线性交互关系，充分融合空间、语义及上下文信息，同时抑制冗余特征和噪声干扰。该模块通过可调节下采样与轻量化卷积设计降低注意力计算开销，在保证融合精度的同时提升计算效率。引入FFM后，RT-DETR可获得更具判别力的多模态表示，从而增强复杂背景、目标尺度变化及模态信息不一致条件下的检测精度、鲁棒性和泛化能力。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进！🔥
🔥RT-DETR多模态改进专栏目录：《独家RT-DETR多模态改进专栏目录 》全网独家创新，多模态融合改进教程，包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进，答疑群提供完整项目，永久更新中
🔥RT-DETR多模态创新订阅地址：RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊，永久更新中
本文目录
一、本文介绍
二、FFM特征融合模块介绍
2.1 FFM模块的结构图
2.2 FFM模块的作用
2.3 FFM模块的优势
三、完整核心代码
四、手把手教你配置模块和修改tasks.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
3.修改tasks.py文件
五、创建涨点yaml配置文件
🚀 中期融合创新改进🔥: rtdetr-r18-midfusion-FFM.yaml
🚀 中后期融合创新改进🔥: rtdetr-r18-mid-to-late-FFM.yaml
🚀 后期融合创新改进🔥: rtdetr-r18-latefusion-FFM.yaml
六、正常运行
二、FFM特征融合模块介绍
摘要：多源遥感图像（RSIs）能够捕捉地物的互补信息，应用于语义分割任务中。然而，不同传感器获取的多模态数据之间存在不一致性和干扰噪声，因此如何有效减少不同模态之间的差异和噪声，并充分利用其互补特征，仍是一项挑战。本文提出了一种通用的跨融合Transformer框架（CFFormer），用于多源遥感图像的语义分割。该框架采用并行双分支结构，分别从不同模态中提取特征。我们设计了一个特征校正模块（FCM），通过在空间和通道维度上结合其他模态的特征，对当前模态的特征进行校正。同时，提出的特征融合模块（FFM）利用多头跨注意力机制，实现不同模态特征的全局交互与融合，从而全面挖掘多源RSIs中的互补信息。实验结果表明，CFFormer在精度和鲁棒性方面均优于现有多源语义分割方法。例如，在WHU-OPT-SAR数据集上，CFFormer的平均交并比（mIoU）为58%、总体精度（OA）为85.35%，分别超过第二优方法4.71%和1.74%。在Vaihingen和Potsdam数据集上，CFFormer同样取得最佳性能，mIoU/OA分别达到84.31%/91.88% 和 88.62%/92.64%。
