1. 为什么还要回头看2014年以前的医学图像配准
1.1 一个被快节奏淹没的领域基石
搞医学图像处理的人，现在张口就是深度学习配准、Transformer配准、扩散模型配准。这没错，技术确实在往前跑。但我自己在实际项目里反复遇到一个情况：很多年轻工程师拿到一个配准任务，直接上VoxelMorph或者TransMorph，跑出来效果不好，然后就开始调网络结构、加注意力模块、换损失函数，折腾几周还是不行。问题出在哪？出在他们对配准这件事的基本框架没有建立起来。
2014年以前的医学图像配准研究，恰好是这套基本框架最完整的沉淀期。那时候没有端到端学习的捷径，所有方法都得老老实实回答几个问题：变换模型怎么选、相似性测度怎么定、优化策略怎么设计、多分辨率怎么组织。这些问题放到今天依然成立，只不过深度学习把其中一部分环节变成了可学习的模块。你如果不懂这些底层逻辑，调参就是盲人摸象。
这篇笔记整理的是那个时期的经典思路和方法论。适合谁看？如果你是刚进入医学图像处理方向的研究生，或者是从自然图像领域转过来做医学配准的工程师，再或者你是做手术导航、放疗计划、影像组学分析这类应用，需要理解配准模块到底在干什么，那这些内容值得花时间过一遍。它不是历史回顾，是帮你建立判断力的底料。
1.2 那个时期的方法论主线
2014年以前的配准研究，主线其实很清晰：把配准形式化为一个优化问题。给定浮动图像和参考图像，找一个空间变换，使得变换后的浮动图像和参考图像在某个相似性度量下最接近。这个形式化本身不难理解，难的是每个环节都有大量细节需要权衡。
变换模型方面，从全局的刚体变换、仿射变换，到局部的B样条自由形变、光流场、微分同胚映射，复杂度逐级上升。相似性测度方面，同模态用平方差或者归一化互相关，多模态用互信息及其变体。优化方面，梯度下降、L-BFGS、随机梯度、离散优化各有适用场景。多分辨率策略几乎是标配，从粗到细逐级精化，避免陷入局部极值。
这些环节不是孤立的。你选了B样条自由形变，就得考虑控制点间距和正则化强度；你选了互信息，就得处理其非凸性和局部极值问题；你选了多分辨率，就得设计金字塔层数和每层的迭代次数。这些决策之间相互影响，而2014年以前的文献恰好把这些交互关系讨论得比较透彻。
2. 变换模型：从全局到局部的谱系
2.1 刚体与仿射：最常用的起点
刚体变换是医学图像配准里最基础的模型，只有旋转和平移六个自由度。为什么它重要？因为很多临床场景下，同一个患者同一个部位的两次扫描，差异主要就是摆位不同。比如脑部MRI随访，患者两次躺上扫描床的角度和位置不可能完全一致，但脑子本身没有发生形变。这时候用刚体配准就够了，用更复杂的模型反而容易引入不必要的形变。
仿射变换在刚体基础上增加了缩放和剪切，九个自由度。它的典型应用场景是处理不同设备或者不同扫描协议带来的整体几何差异。比如CT和MRI对同一部位成像，由于梯度线圈的非线性、床板移动的精度差异，图像之间可能存在轻微的缩放和剪切。仿射变换能把这些全局差异吃掉。
实操中有一个经验：不要一上来就用非刚性配准。我见过太多案例，直接上B样条，结果把真实的病灶形变和噪声引起的伪形变混在一起，配准后的图像看起来“对齐”了，但临床意义被破坏。正确的做法是先做刚体或仿射配准，把全局差异消除掉，再根据具体需求决定是否需要非刚性精配。
注意：刚体配准的旋转中心选择会影响优化效率。通常取图像几何中心或者参考图像的重心，不要随意取原点，否则旋转和平移的耦合会导致收敛变慢。
2.2 非刚性变换：B样条与光流场
B样条自由形变模型是2014年以前非刚性配准的主流选择。它的核心思想是用一组控制点上的位移来参数化整个形变场，控制点之间的位移通过B样条基函数插值得到。这样做的好处是形变场天然平滑，而且控制点间距直接决定了形变的尺度——间距大则只能表达大尺度形变，间距小则能捕捉局部细节，但计算量上升，也更容易过拟合。
控制点间距怎么选？这取决于你要配准的解剖结构和图像分辨率。以脑部MRI为例，如果体素大小是1mm×1mm×1mm，控制点间距通常取10mm到20mm。为什么？因为脑组织的形变主要是大尺度的整体移位和脑室周围的局部变形，10mm以下尺度的形变往往不是真实的解剖变化，而是噪声或者配准误差。当然，如果你做的是肺部呼吸运动配准，形变尺度更大，控制点间距可以取到20mm到30mm。
光流场模型是另一种思路，它直接为每个体素估计一个位移向量，不依赖控制点网格。光学流在自然图像领域用得很多，医学图像里主要用于形变比较剧烈的场景，比如心脏运动或者肺部呼吸。但光流场的问题是它容易产生不连续的形变场，需要额外的正则化来约束平滑性。而且计算量比B样条大得多，因为每个体素都是一个自由度。
2.3 微分同胚：保持拓扑的约束
微分同胚映射是2014年以前非刚性配准里比较高级的话题。它的核心要求是变换必须是可逆的，而且逆变换也是光滑的。为什么需要这个？因为某些临床场景下，你不仅要把浮动图像映射到参考图像，还需要把参考图像上的标注或者剂量分布映射回浮动图像。如果变换不可逆，这个反向映射就没法做。
大形变微分同胚度量映射是那个时期最有代表性的方法之一。它通过时间依赖的速度场来生成变换，保证变换始终是微分同胚的。实现上通常用尺度与平方根或者指数映射来参数化。这套方法的数学比较重，但思想很直观：不要直接估计形变场，而是估计一个速度场，让形变场沿着速度场“流动”出来，流动过程中拓扑不会改变。
实际项目中，如果你只需要单向配准，微分同胚的额外计算开销可能不值得。但如果你需要做形变场的统计分析，比如群体脑图谱构建或者纵向随访的形变分析，微分同胚的拓扑保持性质就很重要了。
3. 相似性测度：配准的“指南针”
3.1 同模态配准：平方差与归一化互相关
相似性测度决定了优化算法往哪个方向走。同模态配准里，最直接的是平方差，也就是两幅图像对应体素灰度差的平方和。它的优点是计算简单、可导性好，优化起来很顺畅。但它对灰度整体偏移和缩放很敏感。如果两幅图像来自同一设备但扫描参数略有不同，灰度可能整体偏亮或偏暗，平方差就会给出错误的梯度方向。
归一化互相关是更稳健的选择。它本质上是在计算两幅图像灰度向量之间的相关系数，对线性灰度变换不变。也就是说，如果浮动图像的灰度是参考图像的线性函数，归一化互相关仍然能正确衡量对齐程度。这在同模态但不同扫描参数的场景下很实用。
但归一化互相关也有局限。它假设两幅图像的灰度关系是线性的，如果存在非线性灰度差异，比如不同对比度增强剂的摄取差异，它的表现就会下降。这时候可能需要考虑更复杂的测度，或者先做灰度归一化预处理。
3.2 多模态配准：互信息及其变体
多模态配准是医学图像配准里最有挑战性的问题之一。CT看骨头清楚，MRI看软组织清楚，PET看代谢活动，你想把它们对齐，灰度之间根本没有简单的对应关系。互信息就是为解决这个问题而生的。
互信息的核心思想是：当两幅图像对齐时，它们的联合直方图应该尽可能集中，也就是一个图像的灰度能很好地预测另一个图像的灰度。对齐越好，互信息越大。这个测度不需要假设灰度之间的函数关系，只需要统计依赖关系，所以天然适合多模态场景。
但互信息有几个坑。第一，它对重叠区域的大小很敏感。如果两幅图像的重叠部分很小，互信息的统计量就不稳定，容易产生错误的极大值。第二，互信息的优化曲面往往不是凸的，存在多个局部极值。第三，互信息的计算涉及联合直方图的估计，直方图的bin数量和插值方式都会影响结果。
归一化互信息是互信息的一个改进版本，它对重叠区域的敏感度更低。具体来说，它用边缘熵的和除以联合熵，而不是直接用联合熵减去边缘熵。这个小小的改动让测度对重叠区域变化的鲁棒性提升了不少。实际项目中，如果两幅图像的重叠区域可能变化，归一化互信息通常是更安全的选择。
实操心得：计算互信息时，直方图的bin数量不要设得太少也不要太多。太少会导致统计量粗糙，太多会导致每个bin里的样本数不足，统计噪声大。一个经验法则是让每个bin平均有几十个样本。以256级灰度的图像为例，64个bin通常是个不错的起点。
3.3 测度选择决策表
| 场景 | 推荐测度 | 原因 | 注意事项 |
|---|---|---|---|
| 同模态，灰度一致 | 平方差 | 计算快，可导性好 | 对灰度偏移敏感 |
| 同模态，灰度有线性差异 | 归一化互相关 | 对线性灰度变换不变 | 对非线性差异敏感 |
| 多模态，重叠区域稳定 | 互信息 | 不假设灰度关系 | 局部极值多 |
| 多模态，重叠区域变化 | 归一化互信息 | 对重叠区域鲁棒 | 计算稍复杂 |
| 图像有局部灰度异常 | 互信息+鲁棒估计 | 降低异常值影响 | 需要额外调参 |
4. 优化策略与多分辨率框架
4.1 梯度下降与拟牛顿法
配准的优化问题通常是非凸的，而且维度可能很高。B样条自由形变如果控制点有几千个，优化变量就是几千维。梯度下降是最基础的方法，但收敛速度慢，而且对步长很敏感。步长太大容易震荡，步长太小收敛太慢。
拟牛顿法，特别是L-BFGS，是2014年以前配准优化里的主力。它通过近似Hessian矩阵来加速收敛，不需要显式计算二阶导数，内存开销也可控。L-BFGS在参数维度几千到几万的时候表现很好，再高就不太行了。
随机梯度下降在配准里也有应用，特别是当相似性测度是定义在大量体素上的时候。每次迭代只随机采样一部分体素来计算梯度，能大幅降低单次迭代的计算量。但随机梯度的方差比较大，需要仔细设计学习率衰减策略。
4.2 多分辨率金字塔：从粗到细
多分辨率策略几乎是所有配准算法的标配。它的逻辑很简单：先在降采样后的图像上做配准，这时候图像小、细节少、优化曲面相对平滑，容易找到大致正确的对齐。然后把上一步的结果作为初始值，在更高分辨率的图像上继续优化，逐步精化。
金字塔的层数怎么定？通常取3到4层。以图像尺寸512×512×256为例，第一层降采样到64×64×32，第二层128×128×64，第三层256×256×128，第四层原始分辨率。每层的迭代次数可以不同，粗层多迭代几次，细层少迭代几次。
这里有个容易犯的错误：在粗层迭代太多，导致细层没有足够的调整空间。我的经验是粗层迭代次数设为细层的2到3倍，但不要超过总迭代预算的50%。另外，每层之间的插值方式也要注意，线性插值够用，但如果你做的是微分同胚配准，可能需要更谨慎的插值策略来保持拓扑。
4.3 正则化：约束形变场的合理性
非刚性配准如果不加正则化，形变场会变得非常不规则，甚至出现折叠。正则化的作用是惩罚形变场的粗糙度或者不连续性。最常见的是基于形变场梯度的正则化，也就是惩罚相邻体素之间位移的差异。这样形变场会倾向于平滑，不会出现剧烈的局部变形。
正则化强度怎么选？这是个经典的权衡问题。正则化太强，形变场过于平滑，配准精度不够；正则化太弱，形变场过拟合，出现不合理的形变。实际操作中，可以先在一个小数据集上试几个数量级的正则化系数，观察配准后的形变场是否合理，再确定大致范围。
还有一种正则化是基于物理模型的，比如弹性模型或者流体模型。弹性模型把图像看作弹性体，形变需要克服弹性势能；流体模型则允许更大的形变，但通过粘性来约束。这些模型在2014年以前有不少研究，但计算复杂度通常比简单的梯度正则化高。
5. 实操流程与关键环节
5.1 预处理：别急着配准
很多人拿到图像直接就开始配准，这是大忌。预处理没做好，后面怎么调都白搭。预处理包括几个环节：去噪、偏置场校正、灰度归一化、脑 skull 剥离或者感兴趣区域提取。
去噪方面，医学图像常见的噪声包括高斯噪声和瑞利噪声。高斯滤波是最简单的，但会模糊边缘。中值滤波对椒盐噪声有效。非局部均值去噪在2014年以前已经比较成熟了，对纹理保留得比较好，但计算量大。
偏置场校正在MRI里特别重要。MRI的射频场不均匀会导致图像灰度出现低频的明暗变化，这种变化会干扰相似性测度的计算。常用的方法是N4偏置场校正，它通过迭代估计偏置场并去除。
灰度归一化方面，如果是同模态配准，可以把灰度线性映射到统一范围，比如0到255或者0到1。如果是多模态配准，灰度归一化反而可能破坏模态间的统计关系，需要谨慎。
注意：预处理步骤的顺序会影响最终结果。通常建议先去噪，再偏置场校正，最后灰度归一化。如果先归一化再去噪，噪声的统计特性可能被改变，去噪效果会打折扣。
5.2 初始化：好的开始是成功的一半
配准是个非凸优化问题，初始位置对最终结果影响巨大。如果初始位置离最优解太远，优化很容易陷入错误的局部极值。初始化策略有几种：基于特征点的对齐、基于主成分分析的对齐、基于中心矩的对齐。
基于特征点的对齐最直接，但需要提前提取特征点并建立对应关系。在脑部MRI里，可以用脑室、脑干等解剖标志点。在骨骼CT里，可以用关节突、骨性标志。特征点的提取可以手动也可以自动，手动精度高但费时，自动效率高但可能出错。
基于主成分分析的对齐不需要特征点，它通过计算图像的惯性主轴来估计旋转。这个方法对形状比较规则的解剖结构有效，比如长骨。但对脑部这种形状复杂的结构，主成分分析给出的主轴可能不稳定。
实际项目中，我通常先用一个快速的刚体配准做初始化，然后再上非刚性配准。刚体配准的计算量小，即使初始位置很差也能在几十秒内收敛到一个大致正确的姿态。这个姿态作为非刚性配准的起点，成功率会高很多。
5.3 参数调优：没有银弹
配准的参数调优是个体力活。变换模型的控制点间距、相似性测度的直方图bin数、优化算法的学习率和迭代次数、正则化的权重、多分辨率金字塔的层数，这些参数相互影响，没有一个通用的最优组合。
我的做法是分阶段调参。第一阶段固定变换模型和相似性测度，只调优化参数，看能不能收敛到一个合理的解。第二阶段固定优化参数，调变换模型和正则化，看形变场是否合理。第三阶段联合微调，用网格搜索或者贝叶斯优化在小范围内找最优组合。
这里有个经验：不要追求在单个案例上的最优参数，要找在一组代表性案例上表现稳定的参数。医学图像配准的最终目标是临床应用，稳定性比极致精度更重要。
5.4 评估：怎么知道配准做得好不好
配准评估分两类：基于标志点的评估和基于图像的评估。基于标志点的评估需要手动或者自动标注一组解剖标志点，然后计算配准后标志点之间的距离。这是最直接的评估方式，但标志点的标注本身有误差，而且标志点数量有限，不能完全反映整个图像的配准质量。
基于图像的评估包括相似性测度的值、形变场的雅可比行列式、形变场的逆一致性等。雅可比行列式可以检测形变场是否有折叠，如果行列式出现负值，说明形变场在某些区域发生了折叠，这是不合理的。逆一致性检查的是正向变换和反向变换是否互为逆，如果不一致，说明配准结果不可靠。
实际项目中，我通常结合多种评估指标。标志点距离给出整体精度，雅可比行列式检查形变场合理性，逆一致性检查变换的可逆性。如果所有指标都通过，才认为配准结果是可信的。
6. 常见问题与排查技巧实录
6.1 配准结果看起来对齐了但临床意义不对
这是最隐蔽的问题。图像看起来对齐了，相似性测度也很高，但形变场在某些区域出现了不合理的拉伸或者压缩。比如脑部配准中，脑室被过度压缩，或者肿瘤区域被错误地“抹平”了。
排查思路：先看形变场的雅可比行列式，如果某些区域的行列式值远离1，说明形变过大。然后检查正则化权重是否太低，或者控制点间距是否太小。如果正则化没问题，可能是相似性测度在那些区域给出了错误的梯度方向，需要检查预处理是否到位，特别是偏置场校正和灰度归一化。
6.2 多模态配准陷入局部极值
多模态配准的互信息曲面通常有很多局部极值。如果初始化不好，优化很容易停在错误的极值上。表现是配准后的图像在某些区域对齐，在另一些区域明显错位。
排查思路：先检查初始化。如果初始旋转角度误差超过20度，互信息配准基本没戏。可以先用基于特征点或者基于主成分分析的方法做粗对齐。如果初始化没问题，检查多分辨率金字塔的层数是否足够。粗层太少，优化曲面不够平滑，容易陷入局部极值。还可以尝试不同的插值方式，PV插值通常比线性插值对互信息的估计更准确。
6.3 配准速度太慢
非刚性配准的计算量很大，特别是高分辨率图像加上B样条自由形变。如果配准一次要几十分钟甚至几个小时，临床工作流根本没法接受。
排查思路：先看多分辨率金字塔的层数和每层的迭代次数。粗层可以多迭代，细层要控制迭代次数。然后看相似性测度的计算是否用了所有体素，可以随机采样一部分体素来近似。B样条的控制点间距也可以适当放大，减少优化变量。如果还不行，考虑用GPU加速，2014年以前已经有基于GPU的配准实现，能提速几十倍。
6.4 常见问题速查表
| 问题现象 | 可能原因 | 排查方向 | 解决思路 |
|---|---|---|---|
| 配准后图像错位 | 初始化太差 | 检查初始旋转和平移 | 先用刚体配准做初始化 |
| 形变场出现折叠 | 正则化太弱 | 检查雅可比行列式 | 增大正则化权重 |
| 配准速度慢 | 参数维度太高 | 检查控制点间距 | 放大控制点间距，减少迭代 |
| 多模态配准失败 | 互信息局部极值 | 检查初始化 | 多分辨率+粗对齐 |
| 灰度差异大 | 预处理不足 | 检查偏置场和归一化 | 加强预处理 |
| 配准结果不稳定 | 参数过拟合 | 换一组测试数据 | 找稳定参数组合 |
6.5 几个踩过的坑
第一个坑：在互信息配准里用了太少的直方图bin。当时为了加快速度，把bin数设成了16，结果互信息的估计非常粗糙，配准精度惨不忍睹。后来改成64，速度慢了一点，但精度提升明显。
第二个坑：B样条控制点间距设得太小。当时想追求高精度，把间距设成了5mm，结果形变场出现了大量细碎的变形，很多是噪声引起的。后来改成15mm，配合适当的正则化，形变场合理多了。
第三个坑：忽略了图像的方向信息。医学图像有方向标记，比如DICOM头文件里的方向余弦。如果配准前没有统一方向，刚体配准的旋转矩阵会完全错误。这个坑排查了很久，最后发现是方向没对齐。
7. 这些老方法在今天还有什么用
7.1 作为深度学习配准的预处理和后处理
现在很多深度学习配准方法，比如VoxelMorph，其实是在学习一个从图像对到形变场的映射。但网络输出的形变场不一定满足拓扑保持或者平滑性约束。这时候可以用传统的正则化方法对网络输出做后处理，或者用传统的多分辨率策略来引导网络的训练。
另外，深度学习配准通常需要大量的训练数据，而医学图像标注成本很高。在训练数据不足的情况下，传统的配准方法可以作为数据增强的手段，生成更多的训练样本。
7.2 作为算法选择的判断依据
不是所有场景都需要深度学习配准。如果你的配准任务比较简单，比如同模态的刚体配准，传统的基于优化的方法可能更快、更稳定、更可解释。深度学习配准的优势在于处理复杂的多模态非刚性配准，但它的黑箱性质在临床应用中是个障碍。
理解2014年以前的方法论，能帮你判断一个配准任务到底需要多复杂的模型。如果刚体配准就够了，何必上深度学习？如果互信息能解决问题，何必训练一个网络？
7.3 作为教学和面试的知识底座
我带过几个刚入行的工程师，发现他们能跑通深度学习配准的代码，但被问到“为什么用归一化互信息而不是互信息”或者“B样条控制点间距怎么选”的时候，就答不上来了。这些基础知识不是过时的东西，它们是理解配准问题本质的钥匙。
面试的时候，我通常会问一个场景题：给定一对多模态图像，重叠区域只有30%，你会怎么设计配准流程？能答好这个问题的候选人，通常对配准的理解比较扎实，而不是只会调包。
7.4 一个实际项目的复盘
之前做过一个脑部MRI纵向随访的配准项目。患者每隔几个月做一次扫描，需要把多次扫描配准到同一个参考空间，然后分析脑萎缩情况。一开始直接用B样条非刚性配准，结果发现不同时间点的配准结果之间不一致，形变场的统计量波动很大。
后来改成先用刚体配准做全局对齐，再用微分同胚配准做局部精配。微分同胚的拓扑保持性质保证了形变场的可逆性，这样不同时间点的形变场可以在同一个框架下比较。配准精度没有明显下降，但结果的一致性和可解释性提升了很多。
这个项目让我意识到，配准不只是追求相似性测度的最大化，还要考虑后续分析的需求。如果你的下游任务是形变场的统计分析，那拓扑保持和逆一致性就比单纯的配准精度更重要。
7.5 最后分享一个小技巧
如果你在做非刚性配准，建议在配准完成后检查一下形变场的雅可比行列式。具体做法是计算每个体素处形变场梯度的行列式，如果行列式值小于等于0，说明该处发生了折叠。折叠区域通常意味着配准失败，需要调整正则化权重或者控制点间距。
这个检查花不了几秒钟，但能帮你避免很多“看起来对齐了但实际不能用”的情况。我在实际项目中把这个检查加到了自动化流程里，每次配准后自动跑一遍，有问题就报警，省了很多人工检查的时间。
