TCSVT 2026｜CL-RFNet：让融合结果反过来纠正配准，高频提示补回纹理
1. 一句话总结
CL-RFNet 用融合伪影反向指导配准，并从源图像提取高频提示补偿重采样模糊，在 RoadScene、M3FD 和 TNO 上兼顾对齐精度与融合质量。
2. 论文信息
题目：CL-RFNet: A Contrastive Closed-Loop Framework for Multimodal Image Registration and Fusion via High-Frequency Prompting | CL-RFNet：高频提示驱动的多模态图像配准与融合对比闭环框架
发表：TCSVT 2026
作者：Xuheng Liu¹、Rencan Nie¹*、Jinde Cao²³、Guangxu Xie¹、Yi Zhong¹
单位：¹云南大学信息学院；²东南大学数学学院；³紫金山实验室。
3. 论文摘要
未对齐的红外和可见光图像容易出现重影现象，但是进行配准和重采样的同时又会降低纹理效果。本文把几何匹配、模态平衡以及高频提示三者结合起来，在融合输出的基础上加上对比约束来实现配准和融合的一体化训练过程。
4. 主要创新之处
创新之处 1：把反馈和闭环结合起来
把由于残余错位而产生的融合伪影变成一种可以用来改善配准的信号，并且打破了传统的“先配准后融合”的模式。
创新之处 2：显式的几何引导匹配
用几何位置嵌入（Geometric Position Embedding，GPE）、SoftBBS以及从粗到细的细化来提高复杂的变形情况下的一一对应匹配的能力。
创新之处 3：平衡了模态并且又加了一些细节
模态平衡器（Modality Balancer，MB）负责调节红外和可见光部分，高频提示（High-Frequency Prompting）用来给重建过程提供一个源图像的纹理信息。
图 1. ：多阶段、单向联合训练和本文所提出的闭环配准融合方法的区别。
图 2. ：各种方法混合之后的效果，Ground Truth为DCEvo对原始已经对齐过的图片进行处理得到的结果，用来显示重采样造成的模糊。
5. 方法详解
5.1 问题的界定以及整个体系的大致结构
输入是移动图像和固定图像，网络会估计出形变场然后给出一个融合图像。共享编码器提取出多尺度特征，配准分支做对齐工作，融合分支把各种信息结合起来；在训练的时候还会用到输出级对比约束来同时更新这两个分支。
图 3. ：整个流程、负样本生成和融合反馈引导配准的闭环。
5.2 几何感知的渐进配准
GPE编码了邻域距离、夹角以及三角形周长差，并且利用自注意力和交叉注意力来建立模态内外的关系。SoftBBS用可微的方法引入了互为最近邻的约束条件，从中选出合适的对应关系。之后再对形变场进行逐层的细化处理，在空间变换网络（Spatial Transformer Network，STN）的作用下改变特征，在残差配准注意力块（Residual Registration Attention Block，RRAB）的帮助下弥补纹理上的缺失。
图 4. ：几何感知对应匹配和由粗到细的配准解码器。
图 5. ：GPE邻域几何编码和RRAB参考特征补偿结构。
5.3 高频提示和模态平衡
MB 通过全局贡献以及局部显著性来计算出各个模态对应的权重值，在STN所存在的不足之处即纹理信息缺失的情况下，高频注入器（High-Frequency Injector，HFInjector）会对原始移动图像进行直接操作：
其中表示移动图像，表示高斯核，表示卷积运算。减去平滑后的结果得到高频残差，经过一个的卷积以及Sigmoid函数之后产生提示，然后和融合特征一起用于细节恢复。
图 6. ：模态平衡、特征聚合、高频提示注入以及细化解码的集成过程。
5.4 输出级对比反馈
目前的融合结果就是锚点，对齐图像对的融合结果是正样本，而弹性形变图像对的融合结果则是负样本。约束直接施加到融合图像上：
其中，表示批大小，表示负样本的数量；、、分别表示锚点、正样本和负样本；距离是复制为三通道之后的平均绝对差值，代表复制后的图像，代表通道数、高度和宽度。缩小这个比值可以使得对齐的结果更接近于正确的位置，而错位的结果则被拉开，并且在进行配准和融合的时候都会一起更新。
5.5 损失函数
其中，采用双向特征差异约束进行配准，反向项权重为；将结构相似性（Structural Similarity，SSIM）、梯度以及强度约束结合起来，后两者权重都是；提供了融合反馈。这三个部分分别对齐、内容保持和任务协同进行限制。
**一句话理解该方法：**利用几何关系确定位置、借助源图高频填充细节、再用融合后的结果来校正和修正。
6. 实验结果
6.1 实验条件
RoadScene、M3FD 以的比例随机分成训练集和测试集，TNO 只做测试用，并没有说明具体的测试样本量是多少。输入尺寸为，采用 Adam 算法，初始学习率为，批大小为，一共训练了轮，在 NVIDIA RTX 4090D 上完成。对于联合任务的比较有 C2RF、MuIFS-CAP 等共种方案；而配准以及独立融合则另外进行比较，前者用到项指标，后者用到项指标。
6.2 定量的结果
在联合任务里，M3FD 的六项指标都达到了最优状态：SSIM 值为，边缘保留指标为，比 MuIFS-CAP 的高出。RoadScene 的通用图像质量指数（Universal Quality Index，UQI）以及 TNO 的信息保真度准则（Information Fidelity Criterion，IFC）都是次优水平，其他各项都处于最好的情况。
在配准比较中，三个数据集的四个指标都最好。M3FD 的均方误差（Mean Squared Error，MSE）为，小于 ADRNet 的。独立融合比较用相同的红外图和本文配准后的可见光图；M3FD 的 SSIM 达到，比次优的 FNet 的提高了，但是并不是所有的融合指标都领先。
表 1. ：三组数据集配准融合定量对比，红色和蓝色代表最好的和第二好的。
表 2. ：三组数据集在多模态图像配准上的表现对比。
表 3. ：三个数据集融合后的结果对比；与上文中的独立融合评价相对应。
6.3 定性结果
结果表明本文对人、窗框以及背景纹理的保留效果最好，棋盘格边界的连续性也较好；但是困难区仍然存在一些残余错位和伪影。
图 7. ：三组数据集联合配准后的融合效果，红色和绿色框表示局部细节；Ground Truth是DCEvo对已经对齐的源图像进行融合得到的结果。
图 8. ：配准棋盘格比较，显示对齐前后的不同情况以及各种方法在局部的一致性。
图 9. ：配准误差对比，红字为平均像素误差值，向量图和色带表示位移情况及大小。
图 10. ：灰度融合后的结果以及局部伪彩色图，用以比较对比度、结构信息等。
6.5 消融实验
完整的融合模型的IFC值为，在去除MB或者高频提示之后分别降到和，在配准消融中去掉GPE之后MSE由上升到，去掉对比学习之后为，在两种消融方式下都表现最好。
图 11. ：在训练过程中，锚点特征会向正样本簇靠拢，而远离负样本簇。
图 12. ：有无对比学习情况下误差图，在第轮和第轮时伪影的变化情况。
图 13. ：去掉各种融合模块之后局部视觉对比图。
图 14. ：去掉RRAB、SoftBBS、GPE之后的配准视觉对比。
表 4. ：MB、高频提示和细化解码器消融；数值截断至四位小数。
表 6. ：RRAB、GPE、SoftBBS以及对比学习的配准消融。
6.6 模型复杂度
模型参数量为，浮点运算量（Floating-Point Operations，FLOPs）为，在RTX 4090D上进行推理时，对于TNO的大小的图像对平均耗时秒。虽然不是最小也不是最快的，但是MuIFS-CAP只有参数和浮点运算，而UMF则更快一些，只需要秒的时间，但是它的计算量达到了。
表 5. ：模型参数量、计算复杂度和推理时间对比。
7. 结论和预测
总结
CL-RFNet 证明了几何匹配、高频提示以及融合反馈协同优化的重要性，但是没有对齐源图所给出的提示可能会带来位置错误的信息；作者打算提高提示鲁棒性、自适应参数学习以及刚性和非刚性变换建模。
**一句话总结：**融合不仅可以得到消费配准的结果，还可以作为配准优化的反馈信息。
往期推荐
[#多模态图像融合](javascript:😉[#多模态信息融合](javascript:😉[#图像融合](javascript:😉[#图像配准](javascript:😉[#TCSVT](javascript:😉
