多|模|态|信|息|融|合
MobileFusion通过结构重参数化，让模型在训练时保留多分支表达能力、推理时折叠为单路径卷积，在约4K参数下实现实时红外与可见光图像融合。
1 论文信息
MobileFusion: Mobile-Friendly Infrared and Visible Image Fusion via Structural Re-parameterization | 基于结构重参数化的移动端友好型红外与可见光图像融合
作者：Yufa Duan, Jialing Huang, Yingying Wang, Weimin Cai, Xinghao Ding, Xiaotong Tu（通讯作者）
单位：厦门大学多媒体可信感知与高效计算教育部重点实验室
代码：https://github.com/sucessfullys/MobileFusion
下载：https://icml.cc/virtual/2026/poster/64502
2 摘要
现有的红外和可见光融合的方法大多采用的是Transformer、扩散模型等复杂的网络结构来提高融合的质量，但是它们的计算量以及对显存的需求都比较大，难以在移动设备或者边缘端上进行部署。已经存在的超快方法也会受到固定的映射能力的影响。
因此作者提出了一种叫做MobileFusion的方法。模型在训练过程中用到多个分支的卷积来加强不同模态之间的相互作用，在推理的时候把所有的分支合并成一个单一的路径卷积以减少内存访问以及推断延迟。结合轻量级注意机制与前馈网络之后，MobileFusion不仅保证了融合的质量，而且满足了移动设备上实时运行的需求。
3 创新点
01｜为移动设备设计的一个轻量级融合框架：
整个模型大约有4000多个参数，使用了卷积等对硬件友好的运算符来降低计算量和存储需求，主要解决了融合模型计算量大、难以部署的问题。
02｜可以重参数化的多分支卷积模块：
Re-parameterizable Multi-branch Convolution (RepMBConv) 在训练的时候用不同大小、不同方向的卷积分支来提取多种尺度的信息，在推理的时候把它们合并成一个普通的卷积。
03｜上下文增强（轻量级）：
轻量级上下文感知注意(LCAA)把双流通道注意、双向空间注意结合起来，并且对红外显著性以及可见光纹理结构进行考虑。
04｜低功耗非线性放大器：
Re-parameterized Feed-Forward Network (RepFFN) 使用了 1×1 的RepMBConv和 PReLU 来增强特征表示的能力，在推理过程中也维持着一个紧凑的结构。
4 方法
MobileFusion输入一个三通道的可见光图象以及一个单通道的红外图象。两种模态首先在通道维度上进行拼接，在此之后使用了5×5RepMBConv来提取浅层融合特征，并且利用两个轻量级模块来进行更深一层次上的特征交互，在最后阶段用到了3×3RepMBConv来重新构建出融合后的图像。
RepMBConv在训练的时候有各种各样的卷积分支，比如(k×k)，(1×k)，(k×1)，还有(1×1) 的卷积。各个分支的输出先拼接在一起，然后用一个 1×1 的卷积来压缩并投影。推理过程中，卷积、BatchNorm、投影层以及残差分支会解析合并成一个等效的卷积。
LCAA先利用平均池化与最大池化得到通道权重，然后使用横向和纵向深度卷积来建模局部结构。RepFFN还可以加强非线性的表示能力。训练损失包括SSIM损失、强度损失、梯度损失以及颜色一致性损失等部分。
可重新参数化的卷积架构比较
5 实验
实验设置
在MSRS、FMB和LLVIP上做融合实验，并把结果跟U2Fusion、MetaFusion、CDDFuse、Diff-IF、Text-IF、DCEvo、LUT-Fuse等九个方法的结果对比一下，用EN、SCD、CC、SSIM和MI来作为评价标准。
实验结果
MobileFusion在三个数据集上的大部分指标都取得了最好的或者第二好的成绩。使用RTX 4090时，模型参数数量为0.004M、FLOPs为1.77G、推理时间为2.10 ms；在Jetson Orin NX上进行480P图像推理的时间为12.88毫秒，满足实时性要求。
在LLVIP目标检测实验里，MobileFusion得到精确度为 0.9585和mAP@0.5=0.9382；在FMB语义分割实验里，mIoU为58.22，排名第二。
消融实验
去掉LCAA或者RepFFN之后，各种融合指标都变差了。把RepMBConv换成普通的卷积或者传统的重参数化结构之后，跨模态的信息交互也会变得很弱。实验证明整个(k×k+1×k+k×1)分支组合的效果最好。
6 总结
MobileFusion的主要思想为：
在训练的时候使用多分支来提高表达能力，在推理的时候把多分支合并为单一路径网络。
这样做的结果是，在参数量、计算量以及推理速度都比较小的时候，模型依然能有很好的融合效果。
论文还用Jetson Orin NX做实验来证明移动端部署的能力，在目标检测、语义分割以及医学图像融合上也表现出了更好的泛化性。
训练的时候是“多路学习”，推理的时候就是“一路狂奔”。
END
