简介：面向需要从零落地Unet多尺度分割方案的开发者，实战项目包包含完成训练的完整代码与腹部多脏器5类别分割数据集，适合医学图像处理方向的算法练习与二次开发。压缩包共1020个文件，含990张png图像、8个py脚本、权重pth及配置说明等，总大小约128.52MB，数据与代码组织清晰。目前已有1899人学习，项目热度表明其实用性。训练脚本内置随机缩放通道，可将图片随机缩放至原尺寸0.5～1.5倍，实现多尺度训练；utils的compute_gray函数会自动读取mask灰度值并写入txt，同时自动适配Unet输出类别数。项目共训练50个epoch，mIoU约0.72，学习率采用余弦衰减，run_results中保存了loss与iou曲线、分类别指标、训练日志及最优权重。预测脚本支持一键推理inference目录下所有图片，代码均带注释，按README运行即可训练自定义数据。
1. 5类别腹部脏器分割：多尺度训练解决的是什么问题
一个很反直觉的现象是：直接用原始CT切片训Unet，把图像统一缩到256×256，最后模型可能连胆囊都分割不出来。胆囊在腹部CT里的体素占比经常只有肝的几十分之一，五类器官在样本数量上的差距天然就是几百比一。这个项目标题之所以把“多尺度训练”和“多类别分割”放在一起，是因为在腹部多脏器场景里，单靠Unet的U型结构处理不了器官尺度差异和类别不平衡叠加出来的问题——肝、脾是大结构，胆囊、左肾是小目标，同一张图上既有大器官的整体轮廓，也有小器官的精细边界，训练时喂进去的patch尺寸、裁剪位置、输入分辨率都会直接影响模型能不能同时照顾这两类信息。
标题指向的是一个很具体的落地任务：拿一个带5类腹部器官标注的CT数据集，跑通Unet，并且用多尺度训练方案把每类Dice和平均Dice拉到能实际使用的水平。适合已经在Unet上跑过单类别分割、正要上多类别项目的人，也适合刚跑通Unet代码、想知道多尺度训练到底怎么用、参数怎么设的入门者。下面按数据准备、网络改造、训练闭环、避坑、推理后处理的顺序，把整个方案完整走一遍。
2. 数据准备：从nii.gz到5类别训练集，先控住类别不平衡
2.1 先用脚本摸清5类器官的体素分布与层厚差异
腹部多脏器分割数据集最常见的存储格式是nii.gz，图像是三维CT数组，标签是同一个nii.gz里取值0到5的数组，0是背景，1到5各自对应一个器官。拿到数据后第一件事不是写模型，而是写一个统计脚本，把每个类的体素数、每张切片的类别覆盖情况、图像间距全部打印出来。不做这一步，后面所有类别平衡和多尺度裁剪都是盲调。
import numpy as np import SimpleITK as sitk from collections import Counter def inspect_dataset(image_path, label_path): img = sitk.ReadImage(image_path) lab = sitk.ReadImage(label_path) # 打印 size/spacing/direction，这三个值决定后续重采样方式 print("image size:", img.GetSize()) print("spacing:", img.GetSpacing()) print("direction:", img.GetDirection()) arr = sitk.GetArrayFromImage(lab) # (D, H, W)，D是切片数 counts = Counter(arr.ravel()) total_foreground = (arr != 0).sum() for cls in sorted(counts): if cls == 0: continue voxels = counts[cls] print(f"class {cls}: {voxels} voxels, " f"ratio_in_fg={voxels / total_foreground:.4f}")direction矩阵必须打印。有些数据集在采集或转换时会把CT的坐标轴顺序搞乱，如果直接按arr[i]当切片训练，很可能把横断面图像当成冠状面图像喂进网络。spacing决定训练时要不要做重采样：如果z轴层厚从1mm到5mm差异很大，每个case的有效切片数会差好几倍，直接混着训练会让一个epoch的步数被层厚最大的case拖慢，切片多的病人也会在验证集里占更高权重。常见做法是先把所有case重采样到z轴1～2mm、xy平面固定到512或384，再进入后续流程。
2.2 类别不平衡的采样策略：让胆囊和脾不再被肝“带偏”
腹部5类器官的体素分布往往是肝占绝对大头，胆囊、左肾这类小器官的体素数可能只有肝的5%。如果按原始切片顺序训练，每个batch里大部分切片可能根本没有胆囊，模型对它的特征学习次数远远不够。光是在loss里加类别权重能缓解，但缓解不了“切片级采样不足”的问题。
我一般会在切片层面做加权采样：先统计每张切片里出现了哪些非背景类，然后对包含稀有器官的切片提高抽样概率。
# slice_has_organ: dict，key是切片id，value是该切片出现的类别集合 slice_has_organ = {0: {1, 2}, 1: {2, 3}, 2: {1, 3, 4}} # 示例数据 rare_classes = [1, 3, 4] # 根据体素统计挑出占比最小的类别 prob = [] for sid in range(len(slice_has_organ)): hits = len(slice_has_organ[sid] & set(rare_classes)) # 每出现一个稀有器官，抽样权重加4，不要超过6，否则会反复拟合同一张切片 prob.append(1.0 + hits * 4.0) prob = np.array(prob, dtype=np.float64) prob /= prob.sum() # 每个epoch按这份概率有放回地抽batch batch_ids = np.random.choice(len(slice_has_organ), size=batch_size, p=prob)权重经验是：稀有器官命中一次加3到5倍，超过6倍会看到小器官切片反复出现，模型对这几张过拟合，验证集Dice反而掉。采样策略要和数据增强配合，不能只靠权重硬扛。另外，不要把所有稀有类别的切片都塞进每个batch，那样常规切片的背景判别能力会退化。推荐一个batch里保证30%～50%切片含有稀有器官，其余保持自然分布。
2.3 CT窗宽窗位归一化：多类别分割的第一个后悔药
腹部CT的体素值是HU值，范围通常在-1024到3071，而分割网络一般期望输入在0到1附近。最常见的错误是直接套ImageNet归一化，用mean=[0.485,...]这组数去处理CT图像，结果就是对比度被拉平，胆囊和周围组织的边界在输入里已经分不开了，后面网络结构再强也白搭。
CT的正确做法是先做窗宽窗位截断，再线性拉伸到0到1。
def ct_window(x, lower=-200, upper=300): # x是原始HU值数组，float32 # 腹部软组织窗口一般是[-200, 300]或[-150, 250]，按设备微调 x = np.clip(x, lower, upper) x = (x - lower) / (upper - lower) return x窗口选多大直接影响分割结果。腹部多脏器场景下，肝、脾、肾、胆囊的CT值集中在0到200HU，脂肪在-100HU左右。下界取-200能把脂肪和空气区分开，上界取300能保留高密度结构又不至于让骨骼亮度过高干扰训练。做完窗口截断后，如果数据里还有极端值，可以做z-score标准化，但窗口截断仍然优先，因为它保留了CT的物理含义。记住这个顺序：先窗宽窗位，再归一化到0到1，最后再决定要不要z-score。
3. 多类别U-Net的最小改造：输入输出改法与多尺度训练代码
3.1 输入输出改动：从in_channels到n_classes=6
Unet本身不区分单类别和多类别，它的最后一层卷积输出几个通道就是几类。单类别分割常用sigmoid加二值交叉熵，多类别互斥分割用softmax加交叉熵。腹部多脏器之间在解剖结构上不重叠，一个体素不会同时属于肝和胆囊，所以用softmax是合理的；只有当你处理的东西可能重叠时，才需要改成sigmoid逐类独立预测。
下面的结构是一个轻量但完整的Unet，我在做腹部多脏器项目时经常拿它当起点。改动点非常少：第一层卷积的输入通道数由数据决定，最后一层输出通道数设为类别数加背景。
import torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, cin, cout): super().__init__() self.conv = nn.Sequential( nn.Conv2d(cin, cout, 3, padding=1, bias=False), nn.BatchNorm2d(cout), nn.ReLU(inplace=True), nn.Conv2d(cout, cout, 3, padding=1, bias=False), nn.BatchNorm2d(cout), nn.ReLU(inplace=True), ) def forward(self, x): return self.conv(x) class Down(nn.Module): def __init__(self, cin, cout): super().__init__() self.block = ConvBlock(cin, cout) self.pool = nn.MaxPool2d(2) def forward(self, x): # 返回block输出作为skip连接，pool结果进入下一层 return self.block(x), self.pool(x) class Up(nn.Module): def __init__(self, cin, cout): super().__init__() self.up = nn.ConvTranspose2d(cin, cout, 2, stride=2) self.block = ConvBlock(cout * 2, cout) def forward(self, x, skip): x = self.up(x) # skip连接concat在通道维上，这是Unet的核心 x = torch.cat([x, skip], dim=1) return self.block(x) class UNet5Class(nn.Module): def __init__(self, in_channels=1, n_classes=6): super().__init__() # 输入单张CT切片是1通道，如果做2.5D就改成3通道 self.d1 = Down(in_channels, 64) self.d2 = Down(64, 128) self.d3 = Down(128, 256) self.d4 = Down(256, 512) self.bottle = Down(512, 512) # 最底层，不取它的skip self.u1 = Up(512, 512) self.u2 = Up(512, 256) self.u3 = Up(256, 128) self.u4 = Up(128, 64) # 最终输出6个通道：背景+5个器官 self.out = nn.Conv2d(64, n_classes, kernel_size=1) def forward(self, x): s1, x = self.d1(x) # 64通道，分辨率1/2 s2, x = self.d2(x) # 128通道 s3, x = self.d3(x) # 256通道 s4, x = self.d4(x) # 512通道 _, x = self.bottle(x) x = self.u1(x, s4) x = self.u2(x, s3) x = self.u3(x, s2) x = self.u4(x, s1) return self.out(x)这个结构的参数规模在7M左右，256×256输入、batch size 16时，单张8G显存的卡能跑得动。中间通道数从64起步，如果你的显存只有4G，可以把各个层的通道数减半，代价是小器官边界的表达能力变弱。in_channels如果改成3，就可以用当前切片前后各一张切片拼成三通道输入，利用层间信息，但训练数据要相应缓存成三通道格式，不能直接用单切片流程。
3.2 多尺度训练的两条路径：数据侧尺度抖动与网络侧感受野扩增
多尺度训练在标题里和Unet并列，实现方式有两条路，我建议先做数据侧，再考虑网络侧。
数据侧多尺度训练的核心做法是：每个epoch给输入图像随机缩放一个比例，再裁剪到固定patch尺寸。这样同一个器官在不同的epoch里以不同分辨率出现，模型被迫学到跨尺度的形状特征，而不是死记某个固定分辨率下的纹理。对于胆囊这种小器官，缩放后它可能只占patch的几十个像素，模型必须学会从低分辨率上下文里推断它的位置，这对泛化能力的提升是实打实的。
网络侧多尺度一般指在encoder最低分辨率的旁边加ASPP或PPM这类多感受野模块，让特征图同时携带全局和局部上下文。这个改动对最终指标的影响不如数据侧明显，但它和随机缩放并不冲突，两个可以叠加。
3.3 一个可跑通的最小配置：模型、裁剪尺寸与数据增强
数据侧多尺度训练我推荐用albumentations实现，它对图像和mask的插值方式处理得干净：图像用双线性，mask用最近邻，这两个如果混用，器官边界就会错位。
import albumentations as A # 多尺度训练的关键在RandomScale + PadIfNeeded + RandomCrop train_transform = A.Compose([ A.RandomScale(scale_limit=(-0.25, 0.25), p=0.7), # 缩放后尺寸可能不足256，先pad到288再随机裁 A.PadIfNeeded(min_height=288, min_width=288, border_mode=0, p=1.0), A.RandomCrop(height=256, width=256, p=1.0), A.HorizontalFlip(p=0.5), A.RandomBrightnessContrast(p=0.2), ]) def load_pair(idx): img = cache_imgs[idx].astype(np.float32) mask = cache_masks[idx].astype(np.int64) # 同一个变换作用于图像和mask，mask默认最近邻插值 aug = train_transform(image=img, mask=mask) return aug["image"], aug["mask"]scale_limit的取值要按器官尺寸分布来定。腹部多脏器的器官大小差异相对固定，0.75到1.25倍是安全范围；扩大到0.6到1.5倍时，随机缩放会把大器官裁出边界之外，小器官缩得太小直接变成几个像素，反而增加标签噪声。如果发现某个器官经常出现在图像边缘，优先把RandomCrop改成带mask引导的裁剪，让裁剪中心有一定概率落在目标器官内。
如果不想引入albumentations依赖，用torchvision的RandomResizedCrop也能做，但要分别处理image和mask的interpolation，image用bilinear，mask必须用nearest，而且torchvision对Tensort输入的支持不如albumentations灵活。实际项目里我用albumentations的概率高很多，接口统一、mask处理不出错，少踩一个坑。
4. 训练闭环：CE+Dice、学习率与多尺度参数的三个必调位置
4.1 CE+Dice损失组合：为什么单独用Dice也会翻车
多类别分割的损失函数选型，很多人第一反应是Dice Loss，因为类别不平衡。但单独用Dice Loss在5类任务上很容易翻车：训练初期模型输出接近随机，Dice的分母对每个类都偏大，梯度信号非常不稳定，小器官的Dice会在前几十个epoch里反复横跳。常见做法是交叉熵和Dice各占一半权重，CE负责把每个像素的分类拉向正确区域，Dice负责让前景和背景的比例不被CE的像素级均匀性带偏。
我常用的Dice实现如下：
class SoftDiceLoss(nn.Module): def __init__(self, n_classes): super().__init__() self.n_classes = n_classes def forward(self, logits, target): # logits: (B, C, H, W)，target: (B, H, W)，取值为0~5 probs = torch.softmax(logits, dim=1) target_onehot = torch.nn.functional.one_hot( target, self.n_classes ).permute(0, 3, 1, 2).float() dims = (0, 2, 3) inter = (probs * target_onehot).sum(dims) denom = probs.sum(dims) + target_onehot.sum(dims) dice = (2.0 * inter + 1e-6) / (denom + 1e-6) return 1.0 - dice.mean(), dice注意这里dice是把背景类也一起算进去的。背景在所有类别中占比最高，Dice值会被它拉高，所以看训练日志时要单独打印dice[1:]的均值，那才是器官类别的真实水平。如果只盯含背景的平均Dice，很容易在第80个epoch就觉得模型已经收敛，实际上胆囊那类的Dice可能只有0.3。
4.2 训练参数：patch大小、学习率、梯度裁剪与轮数
多尺度训练的参数设置，核心是patch大小和缩放范围。256×256的patch对腹部CT是比较平衡的选择：太大会让batch_size被迫减小，BN统计量不稳定；太小则胆囊这类器官的上下文信息不足。如果显存允许，384×384加batch size 8通常比256×256加batch size 16更稳，但这属于显存换指标，不是模型变强了。
学习率我一般用Adam初始1e-3，配合ReduceLROnPlateau按验证mDice自动降学习率，patience设为10，factor设为0.5。150轮是腹部多脏器项目里比较合理的轮数，如果100轮之后mDice还在缓慢爬升，就继续训练；如果60轮后每类Dice都没有变化，先检查数据预处理和loss拼接，不要靠拉长轮数硬等。
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, mode="max", patience=10, factor=0.5 ) # 多尺度训练后梯度容易出现极端值，clip住再step torch.nn.utils.clip_grad_norm_(model.parameters(), 12.0) for ep in range(150): model.train() for img, mask in loader: img, mask = img.cuda(), mask.cuda() logits = model(img) ce = torch.nn.functional.cross_entropy(logits, mask) dice, _ = soft_dice_loss(logits, mask) loss = 0.5 * ce + 0.5 * dice optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 12.0) optimizer.step() # 每个epoch结束在验证集上计算mDice并更新scheduler val_mdice = evaluate(model, val_loader) scheduler.step(val_mdice)梯度裁剪值12是一个安全阈值，显存小导致batch size只有2到4的时候，BN的batch统计量波动大，梯度更容易异常，clip值可以降到10。SGD+momentum在这个任务上也有效，但对学习率的初始值更敏感，Adam在调参上更省心，起步阶段推荐Adam。
4.3 验证指标：别只盯mDice，按类别看混淆才是重点
验证阶段最常犯的错误是只看mDice一个数字，胆囊Dice掉了5个点，mDice可能只掉0.5个点，因为其它四个类把平均值撑住了。所以我验证时一定会打印每个类的Dice和混淆矩阵。
def dice_per_class(pred, target, n_classes=6): dice = [] for c in range(n_classes): p = (pred == c) t = (target == c) inter = (p & t).sum() dice.append((2.0 * inter + 1e-6) / (p.sum() + t.sum() + 1e-6)) return dice这组数字应该打印成表格形式，同时把每个类别的体素占比放在旁边。如果胆囊Dice低但体素占比也低，有可能是标签标注本身不一致；如果脾的Dice突然暴跌，先看是不是验证集里出现了训练集没有的灰度分布。还有一个很容易被忽略的问题：划分训练集和验证集时必须按病人划分，不能按切片划分。同一个病人的相邻切片在训练和验证集同时出现，相当于直接数据泄漏，验证分数虚高，换到新病人上立刻现原形。
5. 多类别分割的5个翻车现场：现象、原因与排查顺序
5.1 标签与图像错位：整体偏移或镜像翻转
现象是训练出来的模型在视觉上分割结果“整体偏了几像素”，或者把病患的左右器官弄反，Dice分数怎么调都上不去。原因一般是SimpleITK读取nii.gz后，数组的维度顺序是[z, y, x]，而直接可视化时用了arr[i]却不考虑direction矩阵，或者某个数据集里图像和标签的direction不一致。解决方法是训练前先对任意一个case用matplotlib同时叠加图像和标签，肉眼确认几个解剖标志点对齐再进入训练。这条路省不了，跳过就等于后续所有指标都不可信。
5.2 小器官直接消失：胆囊在mask里割没了
现象是训练20轮后，预测结果里只有背景、肝和脾，胆囊类几乎没有输出。原因不是Unet表达能力不够，而是类别不平衡严重到让交叉熵占主导，模型发现把所有前景都预测成体素占比最大的肝能显著降低loss。解决方法是先做2.2节的稀有类别采样，然后观察loss里CE和Dice的平衡，如果0.5:0.5仍不管用，可以把Dice的权重提到0.7，并给稀有器官在Dice里额外乘一个系数，比如1.5。但不要给单个类别设太高的系统，否则模型会对这个类别过拟合。
5.3 多尺度缩放把靶器官裁出边界
现象是用了RandomScale后，训练loss正常下降，但每个epoch的验证Dice波动很大，特别是体积小的器官时好时坏。原因是随机缩放后尺寸变化，RandomCrop把目标器官裁掉了，尤其当器官贴近图像边缘时。解决方法是加载切片时统计每个器官在mask中的连通域坐标，裁剪时以50%概率把裁剪中心限制在某个器官连通域的中心附近，而不是完全随机裁剪。这个变体在多尺度训练里几乎是必做的，不做的话小器官等于随机丢失。
5.4 归一化不一致：训练高验证分，实际推出来效果差
现象是训练和离线验证mDice有0.90，但部署到新数据上输出图像大片黑色或整体偏移。原因多出在验证集和训练集用了同一套预处理pipeline，但推理时忘了做窗宽窗位截断，或者测试数据已经是别的影像设备采集的，HU值分布差异很大。解决方法是把ct_window写成一个与模型绑定的函数，在推理入口强制调用；如果新数据来自不同设备，先画灰度直方图对比训练集分布，直方图差异明显时做直方图匹配。
5.5 验证时用错重采样插值：假高分与边界错位
现象是验证集Dice很高，但把所有预测结果可视化后，边缘轮廓明显比标签大一圈或缩一圈。原因是训练过程中对图像做了缩放或尺寸变换，图像用双线性插值，标签用最近邻插值，两者对边界像素的处理不同；如果验证时用了与训练不同的插值顺序，预测和标签之间会有半个像素到几个像素的偏移，Dice虚高。解决方法是验证时从原始分辨率开始，predict输出后直接用最近邻重采样回原尺寸再计算指标，不要在同一张图像上反复resize。
6. 推理侧复用多尺度：TTA与从2D切片的3D后处理闭环
6.1 整图推理与测试时增强TTA的实现
多尺度训练带来的收益在推理侧最直接的复用方式是测试时增强TTA。模型在训练时见过0.75到1.25倍缩放，推理时把输入按原尺度、水平翻转、垂直翻转各跑一次，甚至再加0.9倍和1.1倍两个缩放尺度，对softmax概率取平均再取argmax，边界稳定性和小器官检出率都会有可感知的提升。
def predict_with_tta(model, img): # img: (1, 1, H, W)，已经过窗宽窗位归一化 imgs = [img, torch.flip(img, dims=[-1]), torch.flip(img, dims=[-2])] probs = [] for im in imgs: with torch.no_grad(): p = torch.softmax(model(im), dim=1) probs.append(p) # 翻转后的预测要翻回原方向再平均 probs[1] = torch.flip(probs[1], dims=[-1]) probs[2] = torch.flip(probs[2], dims=[-2]) return torch.stack(probs).mean(0) # (1, 6, H, W)TTA在推理时间上的代价要算清楚。三张图跑三次前向，对于一个30例病人约2000张切片的数据集，GPU推理时间大约增加三倍。做临床批量处理时可以先不用TTA，只在评估和最终测试阶段打开它。
6.2 Z轴连贯性修复：形态学滤波与连通域过滤
2D Unet按切片逐层推理后直接堆叠成3D mask，经常有切片间的闪烁噪声，比如某一层胆囊消失了，下一层又出现，表现上是3D体数据里出现散点状伪影。原因是2D模型没有层间约束，每层的分割结果独立。常见后处理是按Z轴做一个中值滤波，再对每个器官类别做连通域分析，把体积小于阈值的噪声区域剔掉。
from scipy import ndimage def cleanup_3d(label_3d, min_voxels=50): # label_3d: (D, H, W) 的argmax结果 cleaned = np.zeros_like(label_3d) for cls in range(1, 6): mask_c = (label_3d == cls).astype(np.int8) lbl, num = ndimage.label(mask_c) for k in range(1, num + 1): size = (lbl == k).sum() if size >= min_voxels: cleaned[lbl == k] = cls return cleaned阈值min_voxels要按spacing换算成物理体积。如果spacing是1×1×1mm，50个体素就是50立方毫米；如果是2mm层厚，50体素相当于100立方毫米。我一般先统计一下每个类别连通域的体积分布，把直方图的第一个低谷作为阈值，而不是拍脑袋取50。
6.3 从2D切面方案向3D U-Net演进的三个前提
当5类分割要扩展到全器官精细分割时，2D方案的瓶颈会被层间不一致放大，3D U-Net是下一个自然选择。但直接切3D的开销很大，三个前提要考虑好：一是显存，3D patch通常取64×128×128，batch size可能只有2，BN统计严重不稳，通常要换成InstanceNorm；二是内存，3D数据增强在CPU做随机缩放比2D慢一个数量级，要用GPU或预缓存策略；三是推理复杂度，3D滑窗的overlap和边界权重融合方案要多写不少代码。我自己的做法是先把2D多尺度方案在这套5类项目上跑到最优，确认收益边界，再评估有没有必要上3D，而不是一开始就上复杂模型——毕竟多尺度训练加TTA加后处理，在传统Unet上能拿到的提升空间，很多时候已经够项目交付了。
多尺度训练和Unet的组合，价值在于用很小的代码成本把多类别分割的“尺度差异”和“类别不平衡”两个硬问题同时压住。我做这类项目有个习惯：第一轮训练前先花半小时打印一组overlay，确认标签对齐、器官分布合理，再跑模型；跑通之后永远先存一份预测概率图，方便后面查边界偏移和插值问题。希望帮到你。
本文还有配套的精品资源，点击获取
