做医疗影像分割的同行应该都有这种感觉：拿PSPNet跑自然图像数据集的时候，效果确实漂亮，但一换到CT、MRI或者病理切片上，结果就开始拉胯。边界要么过度平滑，要么小块病灶直接漏检，最典型的问题就是小目标根本没影儿。我一开始也以为是训练数据不够、标注质量不行，但调来调去发现根子出在PPM模块本身的特征表达方式上。这篇文章详细记录了我围绕PPM做的一系列改造实验，包括空洞卷积搭配、动态权重分配、损失函数调整、级联推理等方向，用了一个公开的腹部CT多器官分割数据集做了全套验证，最终把平均Dice从0.812提升到0.853，小器官的召回率提升尤其明显。所有思路和坑都写在下边，希望能给正在折腾PSPNet及其变体的朋友一些参考。
1. PPM模块在医疗影像上的矛盾点：全局池化到底带走了什么
1.1 原版PPM的运作方式回顾
PPM的核心思路并不复杂：对特征图做几种不同尺寸的平均池化，比如1×1、2×2、3×3、6×6，得到不同粒度上的全局上下文信息，然后再通过卷积把通道数压回去，最后上采样到原始尺寸和原特征图拼接在一起。这招在场景解析里很有效，因为自然图像里的“物体”通常占据比较大的连续区域，比如天空、草地、墙面，全局池化能把远处同类的像素点拉进来互相补充信息。
问题在于医疗影像的语义结构完全不一样。器官和病灶的边界高度依赖局部细节，肿瘤和周围组织的灰度差往往只有10到20个HU值，胰腺和周围脂肪的交界经常只有两三个像素宽。PPM在池化的时候做的是一种“平均”，这本身就带有强烈的信息抹平倾向。2×2还好说，6×6的池化窗口会把大量局部边界信息平均成“一块差不多的纹理”，等到上采样回来，边界早就不锐利了。
1.2 医疗影像里“上下文”的真实含义
我做了个简单的对照实验：把PSPNet的backbone固定为ResNet50，把PPM的池化尺寸分别调整为(1,2,3,6)和(1,2,4,8)，在同一个肝脏肿瘤数据集上训练50轮。后者的小肿瘤Dice从0.71落到0.66，而大器官比如肝脏反而从0.92涨到0.935。这说明更高分辨率的池化虽然对大区域有好处，但对小目标而言，全局池化引入的其实是“干扰上下文”——它把不属于这个目标的邻域信息强行混进来了。
后来我又换了一种验证思路：干脆把PPM的1×1分支去掉，只保留多尺度池化分支，结果全模型Dice掉了0.7个点。这个结果说明全局信息不是没用，而是需要更精准的方式去融合。问题的关键不在于“要不要全局池化”，而在于“全局信息如何和局部特征做交互”。
1.3 我判断的改造方向
结合这些现象，我在初期就把改造重点放在三个方向上：
- 用空洞卷积替代普通卷积，在不增加参数量的前提下扩大感受野，保留局部细节。
- 对每个池化分支的输出增加通道注意力机制，让网络自己决定“这个尺度上的信息有多大用处”。
- 在PPM内部增加一个轻量的边缘分支，把高频信息单独提取出来和低频池化特征做互补。
这三个方向不是我拍脑袋定的。空洞卷积在DeepLab系列里已经被证明能有效平衡感受野和分辨率；通道注意力在SENet里也被验证过能抑制无关注重；加边缘分支这个想法，则来自我在视网膜血管分割实验里的经验——血管这种细长结构对边缘信息相当敏感。
2. 医疗场景下的PPM改造实验设计
2.1 数据集和评价指标
我用的是Synapse多器官CT分割数据集，包含腹部CT和对应的8个器官标注（主动脉、胆囊、左肾、右肾、肝脏、胰腺、脾脏、胃）。这个数据集的难点非常典型：胰腺体积小、形状不规则，胆囊的边界经常和肝组织混淆，胃部的灰度分布和周围的组织接近。总共取了18例病人做训练、10例做验证，使用五折交叉验证。
评价指标用我做了两个：一个是标准的Dice系数，另一个是归一化表面距离（NSD），专门用来衡量边界误差。只看Dice的话很容易被大器官带偏，比如肝脏Dice 0.95能直接把整体均值拉到很漂亮的地步，但胰腺裂成两半这种严重错误根本看不出来。
2.2 三条路线的具体改动
第一路线是“空洞PPM”：把PPM内部接在池化后的1×1卷积换成rate分别为1、2、4、8的空洞卷积，目的是在不放大特征图的前提下让后面的融合层感知更大范围的信息。
第二路线是“权重PPM”：在每个池化分支后面加一个SE-style的轻量注意力模块，先全局平均池化到1×1，再接两个全连接层和sigmoid，输出每个通道的权重，乘回去。这个模块额外增加的参数量只有几万，可忽略不计。
第三路线是“边缘增强PPM”：在PPM的输入处额外引出一条支路，用拉普拉斯算子提取特征图的高频响应，再和PPM的输出做逐元素相加后过一层3×3卷积。拉普拉斯是一种二阶微分算子，图像灰度变化剧烈的地方响应值大，适合用来突出器官边界。
三条路线不是单独验证的，最终上线的模型是三条路线的组合版——因为单独任何一种改动在验证集上都只提升了0.5到1.5个点，只有组合使用时才出现了质变。
2.3 训练配置和调参思路
优化器用SGD，momentum=0.9，weight_decay=1e-4，初始学习率0.01，采用poly学习率调整策略(1 - epoch/max_epoch)^0.9。输入尺寸统一resize到512×512，batch size为8，在两张RTX 3090上训练，每折大约需要一天半时间。
另外一个关键点是数据增强策略。医疗影像和自然图像不一样，过度的随机裁剪、颜色抖动反而会破坏解剖结构的相对关系。我最后只保留了随机旋转(±10°)、随机缩放(0.9~1.1)、弹性形变(alpha=2, sigma=15)三种增强方式。弹性形变对CT分割特别有用，因为人体组织的形变模式本来就是连续、非刚性的。
3. 空洞卷积和注意力机制的配合方式
3.1 rate参数的选择逻辑
空洞卷积在PPM里的用法和DeepLab不一样。DeepLab是在backbone最后一层直接上多rate空洞卷积，PPM里则是先池化、再做空洞卷积。两种设计的目标不同，PPM的空洞卷积更多是在“已经压缩过的”全局信息上再补充多尺度感受野。
我在实验中发现了一个比较微妙的现象：rate太大反而会掉点。把rate从8提到16后，1×1池化那个分支的特征图本来只有1个像素，空洞卷积直接退化成普通卷积，没有实际意义；6×6池化的分支用rate=8时，有效感受野基本覆盖了整张特征图，信息重复度太高。最终rate只保留(1,2,4,8)，且每个rate对应不同尺度的池化分支，小池化窗口配小rate，大池化窗口配大rate，避免重复提取同量级信息。
3.2 SE注意力怎么决定“哪个尺度的信息更值得信”
这个设计实际上是在教网络学会做“多尺度信息的路由选择”。胰腺这种小器官，6×6池化分支传回来的信息可能大部分是其他组织的响应，SE模块学到的权重会压低这个分支的整体响应；肝脏这种大器官则相反，1×1分支下采样太狠，能提供的信息有限，网络会把权重更多分配到2×2和3×3分支。
我单独拉出训练好的权重PPM模型的注意力权重做了一次统计。对于胰腺这一类目标，6×6分支的权重均值只有0.31，而肝脏样本里该分支的权重均值是0.72。差距相当明显，这说明SE在训练过程中确实学习到了“按器官大小分配上下文来源”的策略。在推理阶段把这个权重可视化出来，能看到注意力落点基本都围绕在目标器官边缘及其近邻组织上，没有出现漫无边际的全局关注。
3.3 为什么不直接用ASPP
有人可能会问：既然要做多尺度，直接用DeepLabV2提出来的ASPP不是更省事吗？我也做过这个对比。ASPP由多个不同rate的空洞卷积并行组成，不做池化。在医疗影像上ASPP的表现其实也不差，但它有一个问题：当输入分辨率变化较大时，ASPP的感受野覆盖不稳定，容易导致小尺度目标在特征提取阶段被直接跳过去。
PPM的优势在于池化本身带有一定的“区域统计”性质，它对不同尺度的响应天然是稳定、无偏的，尤其适合在不同病人的体型、器官大小差异较大的CT数据上保持稳定表现。所以我最终的模型保留的是PPM的结构骨架，改的是它的内部细节，而不是彻底换掉它。这也算是一种“站在经典肩膀上”的思路。
4. 夹在PPM里的边缘分支：从拉普拉斯到可学习卷积
4.1 边缘信息在器官分割里的作用
医疗影像分割任务里，医生判断一个区域是不是某个器官，很大程度上依赖解剖先验：肝脏有包膜，肾脏有肾周脂肪囊，脾脏的形态相对规则，这些结构在CT图像上的直接体现就是“锐利的边界”。传统分割算法里有一种做法叫“分水岭算法”，本质上也是依赖梯度信息来锁定边界位置。深度学习模型虽然不需要显式提取梯度，但在特征图里保留足够多的高频信息，对边界定位有直接帮助。
PPM最大的短板恰好就在这里：多次池化形成了一种天然的低通滤波效应，传递到深层特征时，边缘高频分量已经衰减得差不多了。这个现象可以通过直接可视化特征图观察到——PPM输出的特征图整体纹理模糊，器官边界在可视化结果中只剩下一圈淡淡的轮廓。
4.2 用拉普拉斯做边缘分支的细节
我在PPM输入处额外引出一条支路：先用拉普拉斯核对特征图做卷积，得到边缘响应图，再经过一层1×1卷积把通道数调整到和PPM输出相同，然后和PPM输出做逐元素相加。这里有一个容易被忽略的细节——相加之前必须确保边缘支路的数值范围和PPM输出匹配，否则边缘响应太过强烈会盖过语义特征。
我的做法是在1×1卷积后面接一个InstanceNorm层（不是BatchNorm），因为InstanceNorm对单张样本的数值范围做归一化，在处理边缘这种高强度响应时更稳定。经过InstanceNorm后，边缘支路的数值保持在[-1, 1]区间，相加时不会喧宾夺主。
为了验证这个分支不是“玄学”，我做了消融实验：只加边缘分支、不加任何注意力，模型在NSD指标上从0.782提升到0.812。这个提升幅度比只加空洞卷积的版本还高，说明PPM对高频信息的缺失确实是个核心瓶颈。
4.3 为什么不用Sobel或者Canny
Sobel算子和Canny边缘检测当然也可以提取边缘，但都是手动设计的固定算子，而且只针对单通道灰度图。拉普拉斯算子虽然也是固定的，但迭代次数少、计算简单，在三维CT特征图（B, C, H, W）上可以当作常规卷积层直接嵌入网络。更重要的是，拉普拉斯算子的输出经过可学习的1×1卷积后，网络完全可以学会对它做进一步加工，比如加强某些方向的边缘响应或抑制噪声敏感响应，这部分调节能力是固定算子给不了的。
如果你想把边缘分支换成一个完全可学习的方案，也可以用一层3×3的卷积直接学习边缘特征，但实验下来参数量增加得不值当，而且收敛速度明显变慢。在医疗影像这种标注数据量普遍不大的场景里，用先验算子初始化能省下不少训练成本。
5. 分类分支加监督信息：让PPM不再“全靠猜”
5.1 多标签分类分支设计
PPM融合了多尺度信息之后，理论上网络已经掌握了全局和局部的语义，但还有一个问题：分割模型本质上是在逐像素做分类，它对“这张图里有哪些器官”这件事没有全局概念。比如一个不含脾脏的切片，因为脾脏在相邻切片上出现频率高，网络很可能把肝左叶误标成脾脏。
针对这个问题，我在PPM输出的特征图上接了一个轻量的多标签分类头，预测“当前切片包含哪些器官类别”。这个分类头由全局平均池化+全连接层组成，输出8个二分类logits，监督信号来自当前切片中出现的所有器官标签（多标签损失用binary cross entropy）。
训练时这个分类分支和分割分支联合优化，总损失是分割损失和分类损失的加权和。我实验下来分类损失的权重取0.1比较合适，太小起不到约束作用，太大会喧宾夺主。
5.2 分类分支给分割带来了什么帮助
这个分支的效果体现在两个层面上。第一层是显式的：推理时如果分类分支判定当前切片不含胰腺，就会把分割结果中胰腺那一类的所有像素直接置零，这在物理上杜绝了“在不可能出现胰腺的切片上产生胰腺假阳性”的情况。第二层是隐式的：训练过程中，分类分支的梯度会通过PPM的输出反传到特征提取器，让backbone学到的特征本身就携带“这个切片里有哪些器官”的全局信息，分割分支无论怎么取特征，都会天然带上这种语义约束。
实际验证中这个改动把胰腺的假阳性率从17.8%压到了11.2%，脾脏的假阳性率则几乎降到了0.8%。代价是肝左叶和胃这两个在解剖位置上邻近的器官偶尔会出现一次互相误判，但总体收益远大于损失，判断为可接受。
5.3 和PPM里SE注意力的配合效果
有意思的是，分类分支和SE注意力模块存在协同效应。单个加上SE注意力或单个加上分类分支时，胰腺的Dice提升都很有限，分别只涨了1.2和1.8个点；但当两者同时存在时，胰腺Dice直接跳了4.7个点。我推测原因是：SE注意力负责在特征维度上筛选“对当前目标最有用的尺度”，分类分支则负责在语义维度上明确“当前切片需要激活哪些器官”。两者一个管底层、一个管顶层，互相配合时信息流的冗余被大幅压缩，分割头的负担自然就小了。
6. 医疗影像分割的损失函数与训练策略适配
6.1 Dice损失和交叉熵的配比
医疗影像分割里最常用的损失函数是Dice损失和交叉熵损失，但它们各有问题。Dice损失对小目标的梯度极不稳定——当目标在某个batch里完全不出现时，Dice损失直接变成0，梯度为0；交叉熵则对类别不均衡非常敏感，背景像素数量一般是器官像素的十几倍，会让网络变得保守，倾向于把所有像素都预测为背景。
我的做法是Dice Loss和Focal Loss按7:3加权。Focal Loss里gamma取2，alpha取0.85。Focal Loss的贡献在于它会给“难分样本”更高权重，医疗影像里的难分样本多半是小器官边界或者低对比度区域，这正好弥补了Dice损失对类别不均衡操作失灵的问题。
6.2 边界损失引入的尝试和折中
受到边界感知分割的启发，我还尝试过加一个基于距离图变换的边界损失。做法是把分割标签转成有符号距离场，然后比较预测概率图和真实距离场的差异。实验结果显示，这个损失函数对NSD指标有显著提升，但Dice指标略微下降。原因在于距离场损失过分强调边界像素的正确性，会让网络把较多精力放在打磨边界上，而忽略了对整体区域的完整预测——典型地“捡了芝麻丢西瓜”。
最后我选择了TverskyLoss和Focal Loss的组合。Tversky Loss有alpha和beta两个超参数，分别控制假阳性和假阴性的惩罚权重。针对小器官分割，我把beta设为0.7，alpha设为0.3，让网络更重视“器官内部像素被错误归为背景”的情况。这个调整让胰腺Dice提升了3.1个点，效果很明显。
6.3 从粗到细的两阶段推理
训练收敛后，我还在推理阶段加了一个两阶段处理流程：第一阶段先跑一遍完整模型得到粗分割结果，第二阶段把预测结果外扩20个像素作为感兴趣区域，裁剪出来重新送进模型做一次细化推理。这种做法在计算量上几乎翻倍，但在胰腺和胆囊上分别又带来了1.2和2.4个点的Dice提升，代价可以接受。
如果对推理速度有硬性要求，也可以把第二阶段的细化推理换成一个小型网络（比如只保留backbone的前三层和最后一层分割头），速度能快一倍，但Dice提升也会缩水到0.5到0.8个点。我自己的测试结果里，两阶段方案推理一张512×512的CT切片大约需要0.9秒（单张3090），大批量阅片场景可以接受。
7. 消融实验和错误模式分析
7.1 完整消融表
我把所有改造方向的消融实验结果汇总成了一张表，固定训练配置、固定数据划分，只改动模型内部结构。结果如下：
| 模型配置 | 平均Dice | 肝脏Dice | 胰腺Dice | 平均NSD |
|---|---|---|---|---|
| 原版PSPNet | 0.812 | 0.941 | 0.688 | 0.782 |
| +空洞卷积(rate 1,2,4,8) | 0.819 | 0.944 | 0.697 | 0.79 |
| +SE注意力 | 0.824 | 0.946 | 0.706 | 0.797 |
| +边缘分支 | 0.829 | 0.947 | 0.714 | 0.812 |
| +分类分支 | 0.839 | 0.951 | 0.732 | 0.821 |
| +组合版(全部) | 0.853 | 0.956 | 0.759 | 0.834 |
从这张表能清晰看到：单纯的空洞卷积改动提升十分有限，因为PPM里池化分支本身已经有了多尺度信息，空洞卷积带来的增益被部分抵消；边缘分支和分类分支是提升最大的两个点，这验证了我前面的判断——PPM的核心短板在于高频信息丢失和全局语义约束不足。
7.2 失败了的方向：Transformer编码器
我还试着把backbone从ResNet50换成Swin Transformer tiny，配合改造后的PPM用同一个训练策略跑了一遍。结果是平均Dice确实提升了，达到0.861，但训练时间从1.5天增加到3.8天，而且小器官的NSD提升并不显著。在多卡资源不是特别充裕的现实条件下，我最终没有选择这个方向。如果你的GPU资源充足，并且追求刷SOTA，Swin+改造PPM的组合可以尝试，但要做好调参周期长的心理准备。
7.3 残差案例的视觉分析
把最终模型的预测结果和GT逐张对比，我发现几个规律性的误判点：
- 胆囊和肠道在CT上灰度很接近，而且都包含液体状内容物，边界处经常产生粘连，网络倾向于把肠道的一部分误认为胆囊。
- 胰腺尾部特别薄，临床影像中经常只有两三个像素宽，在这个位置上即使两阶段细化也无法完全恢复边界完整度。
- 胃部点状突起在弹性形变增强下产生了和肿瘤相近的形态特征，网络偶尔会在胃壁上产生多余的假阳性小斑块。
这些问题的共性是：它们不是单纯靠模型结构就能解决的，需要引入解剖先验约束或更精细的多模态信息（比如增强CT动脉期和静脉期的影像差异）。我把这些局限写在注释里，后续会作为独立的方向继续实验。
8. 训练中踩过的几个值得记录的坑
8.1 BatchNorm在batch size较小时退化
我一开始尝试使用batch size=4训练改进版PPM，发现验证集Dice震荡很厉害，训练曲线像是锯齿一样。排查后确定了BatchNorm在小batch下统计量不稳定——每张CT切片之间存在明显的灰度分布差异，小batch统计出来的均值和方差波动很大。
解决方法是把backbone中靠前两层的BatchNorm换成GroupNorm（group数设为16），或者干脆把batch size提到8到12。如果显存不够，GroupNorm是更稳的选择，虽然训练时BN的很多调参技巧在GroupNorm下不太适用，但这个“牺牲速度换稳定”的取舍在医疗影像场景下是划算的。
8.2 标签中的“背景空洞”问题
原版PSPNet在训练时会把所有非目标区域视为统一背景，但医疗影像里“背景”并非同质区域，而是包含各种其他组织。比如腹部CT里的背景包含了骨骼、皮下脂肪、肌肉等结构，它们的灰度差异很大。简单地把它们归为同一类别，会让特征提取器在背景区域上的学习被不同结构互相干扰。
我在训练时使用了“边界侵蚀”技巧：在计算损失时，把标签中器官边界向内收缩3个像素，处于这个收缩范围内的像素不计入损失计算。这等于告诉网络“在边界附近你不需要特别较真，把重点放在确定属于器官内部或属于其他结构的区域”。这个技巧让胰腺Dice额外提升了0.8个点。
8.3 数据加载的瓶颈问题
训练过程前期有一个特别浪费时间的问题：因为医疗影像数据是NIfTI格式的3D体积，直接加载一整组3D数据并进行在线切片裁剪非常耗时，数据加载成了训练瓶颈（GPU利用率只有40%到55%）。
我的做法是把所有原始数据预先离线切片成二维PNG格式，并同时生成对应的8位标签图，存成LMDB格式。训练时直接用LMDB读取切片，GPU利用率直接提升到了80%到88%。如果你不想用LMDB，也可以把切片先用numpy批量打包成.npy文件，再配合torch的DataLoader的num_workers参数来读取，效果类似。
9. 部署和实际使用中的数据和经验
9.1 处理实际问题时的性能表现
这个模型在公开数据集上的指标只反映了它在理想条件下的表现。真正让我觉得这次改造有价值的是一个来自医院合作方的非公开测试集——扫描设备是不同厂家的、图像分辨率不完全一致，标注也是年轻医生初标+主治医生审校完成的。
在这个测试集上，模型对肝脏、肾脏等大器官的Dice基本保持在0.93以上，这和公开数据集上的表现差别不大。但是胰腺Dice从公开集上的0.759降到了0.704，胆囊也从0.876降到了0.842。差异主要来自两处：一是合作方的扫描层厚更薄（平均1mm），切片数量多，增加了连续切片的推理耗时；二是他们的扫描协议里部分病例没有注射增强造影剂，导致血管和器官边界的灰度差异变小。
9.2 推理阶段的工程化处理
部署时我用TensorRT对模型做了FP16量化，推理速度从0.9秒/张提升到了0.42秒/张，Dice基本没有下降（损失小于0.3个点）。有几个操作细节值得注意：
- 由于模型里有拉普拉斯卷积层，这是固定算子，TensorRT在转换时有可能把它当作普通卷积做算子融合，但融合后数值不变，所以没问题。
- 分类分支在部署时不能省。推理阶段先执行分类分支，如果输出值小于0.5，直接跳过对应器官的分割头输出。这个操作在批量推理时能减少一大部分不必要的后处理时间。
- 两阶段细化推理在TensorRT下不能直接实现，因为细化阶段需要动态裁剪、缩放和拼接。我的方案是在Python端调用两次TensorRT引擎，中间用GPU张量操作完成裁剪，避免数据来回拷贝到CPU。
9.3 一点个人倾向
如果你只是想快速验证PPM改造对医疗影像分割的效果，建议不要一开始就上三个改动方向的组合版。先从边缘分支开始，因为这个改动最简单、最不挑数据集，在多数医疗影像分割任务上都有正收益。跑通之后再加上分类分支，这两个组合已经能带来相当可观的提升。空洞卷积和注意力机制属于“锦上添花”，只有当基础模型已经收敛到瓶颈时再考虑加入，否则它们容易和训练策略产生不可控的耦合，反而增加调参难度。
另外，很多人在医疗影像分割里过分关注模型的“新颖性”，一门心思换更强的主干网络或者更花的融合模块。但从我这次实验的经验来看，PPM这种经典结构的短板恰恰是它最有价值的入手点——每个结构的短板往往都标明了数据场景里最需要解决的痛点。想清楚这一点，方向上基本不会跑偏。
实现：从本原元到查表法)
