条件扩散模型生成病理图像：从可控生成到四层评估-平芜编程栈

条件扩散模型（Conditional Diffusion Model）在病理图像生成里越来越被看好，但不少人的第一反应仍然是：这不就是又一个能生成“以假乱真”图像的模型吗？如果只在这个层面理解它，后面很多关键判断就会跑偏。真正让病理研究者转向它的原因，是这类模型能把“生成图片”变成“按条件生成”，并且训练过程比过去常用的 GAN 稳定得多。

要理解这个转变，最好从一个真实的痛点开始：你手上有一个 HE 染色的乳腺癌数据集，常见亚型有几千张训练图，某一个罕见亚型却只有两三百张。分类任务里，类别不均衡是硬伤；更麻烦的是，这个罕见亚型和另一个常见亚型在组织学形态上非常接近，人工标注都需要高年资病理医生反复确认。这时候，数据增强、迁移学习都用过一轮，效果仍然有限。于是“合成病理图像”就成了一个看起来很有吸引力的解法：如果我能根据条件生成一批属于这个罕见亚型的图像，模型是不是就能学得更好？

这个问题的答案并不像表面看起来那么简单。合成病理图像生成并不新鲜，扩散模型也不是第一个被用在病理图像上的生成模型。真正值得讨论的是：条件扩散模型在病理场景里到底解决了什么问题、评估它时不能只看哪些指标，以及它距离“可落地”还差哪几步。这篇就从这些角度展开。

1. 为什么病理图像生成非逼真不可，却又不能只看逼真

1.1 病理数据的真实瓶颈：稀缺、不均衡、标注贵

病理图像和自然图像有一个本质不同：它的“信息密度”极高。一张全切片图像（Whole Slide Image，WSI）往往有数万乘数万像素，包含的组织结构、细胞形态、染色特征和间质分布都是判断依据。但真正被用于模型训练时，通常要把 WSI 切成一个个 patch，也就是固定大小的图块，比如 256×256 或 512×512。切完以后，这些 patch 是否带有正确的标签，就成了一个非常别扭的问题。

很多公开数据集只能提供 slide 级别的标签：这张切片对应的是哪种肿瘤、哪个分级。但一个 patch 可能只截取到正常的间质区，根本没有肿瘤细胞；另一个 patch 可能同时包含两种组织形态，标签却只有一个。这就是病理数据标注成本极高的直接结果，不是大家不想做 patch 级别的精细标注，而是能看懂这些切片的人本身就稀缺，时间和费用都承担不起。

叠加在这之上的还有两个老问题。第一是疾病的长尾分布：常见病种类别的数据铺天盖地，罕见亚型、罕见染色组合、少见免疫组化标记却很难凑齐。第二是跨中心差异：不同医院、不同切片机、不同染色批次，颜色分布可能有肉眼可见的差异，这会让模型在来源单一的数据上表现很好，一旦换到外部验证集就明显掉点。

在这类背景下，生成模型被反复提及的原因很直接：如果能生成更稀缺类别的合成 patch，就能做数据扩充；如果能做染色迁移，就能缓解跨中心差异。这个动机本身没有问题，问题出在“生成结果怎么评估”。而评估方式，又反过来决定了生成方法的选择。

1.2 从 GAN 到条件扩散模型，变化的不是画质而是可控性

在扩散模型被广泛应用之前，GAN 家族已经在医学图像生成里占据主流位置，尤其在染色迁移、细胞图增强、伪影去除这些任务上有很多尝试。GAN 的优势是很明显的：生成速度快、图像细节可以非常锐利，在很多视觉指标上能做到“以假乱真”。但它有两个长期难啃的痛点。

一个是训练稳定性。GAN 的训练本质上是生成器和判别器的博弈，训练曲线经常反复横跳，模式坍塌也一直是老大难。另一个是“可控性”很弱。你很难仅仅通过一个标签就精确地告诉生成器“请生成一个符合某种分级特征的病理 patch”，更多时候只能在特征空间里插值、潜变量调整，操作既抽象又不稳定。

条件扩散模型改变了这个局面。它的基本逻辑不再是一步到位生成一张图，而是从一个随机高斯噪声出发，经过很多步逐步去噪，最后得到图像。每一步都在做“预测噪声并去除”这种事，训练目标相对平稳，不易出现 GAN 那种剧烈的对抗失衡。更重要的是，当你把类别标签、分割掩码、文本描述这类额外信息作为条件注入去噪过程后，生成什么、不生成什么，就有了明确的控制信号。

所以我认为，这类模型在病理场景里的真正价值，不是“FID 分数更低一点”，而是“我第一次可以在生成器官级结构或细胞形态时，指定要我想要的类别或区域”。可控制，是扩散模型带来的最大增量。

2. 条件到底怎么“加”进去：三类常见实现方式

2.1 类别标签条件：最简单，也最容易被忽略细节

最常见的条件形式是“类别标签”。在病理场景里，这个标签可以是肿瘤类型、亚型、分级，也可以是良恶性。实现上通常是把整数标签做 embedding，变成一个向量，再通过几种方式注入到 UNet 结构里。

一种做法是把条件向量和时间步 embedding 拼接在一起，再送入残差块；另一种做法更现代，是把它当作 cross-attention 里的 key/value，让生成过程在每一层都能看到“我现在要生成的是哪个类别”。

示例结构大致是这样：

# 示例结构：类别标签通过 embedding 注入 UNet label_embedding = nn.Embedding(num_classes, 256) cond = label_embedding(labels) # [B, 256] # 方案A：与时间步 embedding 拼接后进入残差块 t_embed = time_embedding(timesteps) # [B, 512] combined = torch.cat([t_embed, cond], dim=-1) # [B, 768] # 方案B：作为 cross-attention 的 key/value # 此时条件是 token 序列，不只一个向量 pixel_features = unet_feature_map # [B, C, H, W] pixel_flatten = pixel_features.flatten(2).transpose(1, 2) # [B, H*W, C] attn_output = cross_attention(pixel_flatten, cond_tokens, cond_tokens)

这里面有一个容易被忽略的细节：如果你的标签是从 slide 级别直接复制到每个 patch 上的，那么很多 patch 的标签其实是错的。比如一张肿瘤阳性切片，切出来的几百个 patch 不可能每一个都含肿瘤细胞。如果你不管三七二十一全部打上“肿瘤”标签给模型去学，生成出来的所谓“肿瘤类”图像很可能混入大量正常间质。

我建议任何人在开始训练前，至少做一次标签清洗：

先用聚类或简单的特征提取看每个类别的 patch 分布，找出离群样本。
对于分类任务，可以用一个在真实数据上预训练过的分类器过滤掉“标签与内容明显不一致”的 patch。
如果资源允许，请病理医生抽查一部分过滤结果，而不是完全相信自动流程。

2.2 空间条件：掩码、边缘与结构引导

类别标签只能告诉模型“生成哪一类”，没法告诉它“在哪个位置生成什么结构”。病理组织图像里，空间位置往往是很有意义的：肿瘤上皮区域和间质区域的分布、腺管结构的形态、细胞核的排列，这些信息都带有诊断意义。

因此，空间条件开始被越来越多地引入。最常见的是“分割掩码条件”：把掩码作为额外输入通道拼接进图片通道，或者通过一个小的条件编码器处理后再注入 UNet。掩码可以是二值掩码，标出上皮区域和基质区域；也可以是多类别掩码，把腺管、淋巴细胞、坏死区域都标出来。

示例结构：

# 示例结构：掩码作为额外输入通道 x = torch.cat([noisy_image, condition_mask], dim=1) # 输入通道变成 4 # UNet 第一层需要把输入通道改成 num_in_channels + num_mask_classes

这种做法的价值在于，生成的图像不再只是“某个类别的随机图像”，而是“符合某个结构布局的图像”。比如你给定一个掩码，其中上半部分是上皮区域、下半部分是间质区域，模型会在这个约束下生成对应的组织形态。这对下游任务更友好，因为你可以在生成时显式控制组织结构。

不过空间条件也带来了新的麻烦：真正的病理分割掩码需要精细标注，成本非常高。常见的折衷方案包括：

用自动分割工具生成初版掩码，再人工修正一部分。
只用低分辨率掩码控制大结构，比如区分“上皮主导区”和“间质主导区”，不追求像素级精细。
在生成后加一个可选的“掩码一致性检查”，计算生成图像和条件掩码的匹配度，不匹配的样本丢弃不用。

2.3 训练时的几个关键设置：conditioning dropout、guidance、patch 切分

条件扩散模型在实际训练里，有一个非常关键但很多人会漏掉的设置：conditioning dropout。也就是在训练时以一定概率随机丢弃条件，比如 10% 的样本不把类别标签喂给模型，让模型同时学习“有条件生成”和“无条件生成”两种能力。

为什么需要这样？因为推理时我们常用的 classifier-free guidance 需要同时计算条件得分和无条件得分：

采样得分 = guidance_scale * 条件得分 - (guidance_scale - 1) * 无条件得分

如果模型没见过“没有条件”的情况，这个公式就无法成立。guidance_scale 越大，生成结果越严格遵循条件，但过度放大也会让图像出现颜色过饱和、纹理僵硬之类的人为痕迹。

另外，病理图像生成通常不是一次性生成整张 WSI，而是先生成 patch。patch 的切分尺寸会影响训练和生成：

256×256 是最常用的平衡点，兼顾细胞级细节和显存开销。
512×512 可以看到更大的组织上下文，但显存需求显著上升。
如果某些 patch 属于 WSI 边缘的空白区域，应该提前过滤掉，否则模型会把大量容量浪费在“生成空白”上。

这个阶段往往需要反复试。我的建议是：先不要追求花哨的模型结构，先用一个标准的 DDPM 或 DDIM 流程，把一个 patch 任务跑通，再逐步引入更复杂的条件、更大 patch、更多控制信号。哪怕只是把数据准备和标签对齐做好，这个项目已经成功了一半。

3. 评估一个病理生成模型，必须分成四层

项目标题里的 “Assessment” 这个词，其实比 “Generation” 更关键。生成一个能看的病理图像并不难，难的是判断这个图像是否“对”。在自然图像领域，大家习惯看 FID、IS 这类指标；但在病理场景里，这些指标远不足以回答“这个合成图像能不能用于临床研究”。

我建议把评估拆成四个层级，每一层回答不同的问题。

3.1 第一层：视觉质量指标只能回答“像不像”

这一层是大家最先想到的：FID（Fréchet Inception Distance）、KID（Kernel Inception Distance）、IS（Inception Score）等。它们的基本逻辑是把真实图像和生成图像分别映射到某个特征空间，计算两个分布的距离或分类置信度。

这些指标的问题在于，特征提取器通常是在 ImageNet 上预训练的，它擅长捕捉自然图像的语义特征，却不一定理解病理图像里的细胞结构、腺体形态和间质分布。换句话说，一个 FID 很低的模型，生成出来的图像在病理医生眼里可能仍然是“假”的——只是假得很符合特征提取器的偏好。

SSIM、PSNR 这类像素级指标也有类似局限。它们适合衡量“重建”，比如去噪、超分辨率后的图像和原图有多接近，但不适合衡量“生成”出来的图像是否具有诊断价值。图像可以每个像素都很平滑、结构相似度很高，但组织形态完全不符合真实病理。

所以这一层只能作为初筛：如果连 FID 都很高，说明基础分布学得不行，后面没必要深入评估；如果 FID 很低，也只能说明“看起来接近”，不能证明“病理学上正确”。

3.2 第二层：条件一致性检验，生成是否真的“按需”输出

条件扩散模型的卖点就是“条件”。那么第一个必须检验的问题就是：生成的图像是否真的符合给定的条件？

举个例子。假设你训练了一个以“肿瘤亚型 A / 亚型 B / 正常”为条件标签的模型。现在你生成 1000 张条件标签为“亚型 A”的图像，然后怎么判断模型真的生成了亚型 A 的图像？一种常见做法是：训练一个在真实数据上表现良好的分类器，用这个分类器去判断生成的图像属于哪个类别，最后统计“条件-预测类别的一致性”。

这个做法能发现问题，但不完美。因为分类器可能存在“捷径学习”：它可能靠背景染色、切片边缘伪影甚至某种固定模式来分类，而不是靠真正的组织学特征。如果生成模型碰巧学会了复现这些捷径特征，一致性指标会虚高。

更稳妥的验证方式有两个：

在多个不同来源的真实数据集上训练分类器，取评估稳定性的共识。
人工检查“条件 vs 生成”的配对样本，看是否存在系统性的标签偏移。

对于掩码条件的模型，可以计算生成图像与条件掩码之间的 IoU 或 Dice。如果掩码要求上半部分是上皮区，但生成的图像里上皮细胞分布明显跑到了下半部分，那说明条件并没有被真正遵守。

3.3 第三层：病理域内有效性，医生和形态学统计说了算

这一层是最容易被技术团队忽略的。视觉指标再漂亮，分类器一致性再高，都不能替代病理医生对图像的判断。因为合成图像可能在视觉上“像一张病理图”，但内在的组织学逻辑是错的：可能是细胞核大小分布不合理，可能是腺管形态不符合肿瘤分级，也可能是染色模式在真实切片中根本不会出现。

病理域内有效性有三种评估方式：

病理医生盲评：把真实图像和合成图像混合，让医生判断哪些是真实的、哪些是合成的，并对合成图像进行“是否可接受”的打分。这个成本高，但信息量最大。
形态学统计：根据任务类型统计细胞核密度、核质比、核分裂象数量、腺管面积比、间质比例等形态学特征，比较真实分布和生成分布的差异。不用等到病理医生到场，计算机辅助分析可以先做一轮。
染色特征分析：病理图像里染色颜色的统计分布不是噪声，而是一种可解释信息。如果生成图像的染色直方图明显偏离真实数据，即使 FID 很低，也要谨慎使用。

需要注意的是，病理医生认可的“可接受”，和研究用途的“有价值”不是完全等同的。一个病理医生可能认为图像结构合理，但如果这个图像生成的形态是某一种根本不存在的组织排列方式，就会干扰下游模型的学习。

3.4 第四层：下游任务价值，最终看真实测试集表现

这几乎是决定“合成数据有没有用”的最终标准。因为前面几层评估回答的是“像不像”“准不准”“合不合理”，只有这一层回答：“把合成数据加进去，你的模型有没有变好？”

常见的评估设计是：

准备一个固定的真实测试集，使用患者级别划分，防止同一患者的 patch 同时出现在训练集和测试集。
先用真实训练集训练一个基线模型，记录指标（AUC、F1、敏感度、特异度等）。
按不同比例把合成数据混入训练集，比如合成数据占 10%、25%、50%，训练多个对照模型。
在同一个真实测试集上比较所有模型的指标。

如果加入合成数据后，指标没有提升甚至下降了，那么无论第一层到第三层的评估结果多好，这个生成模型在你的任务里都没有落地价值。合成数据质量高、数量多，并不等价于“有用”，因为模型可能学到的是合成数据里的伪影或分布偏差。

从经验看，比例也不是越高越好。合成数据过多会让模型被“带偏”到生成分布上，反而削弱对真实分布的拟合能力。通常从一个较低的比例开始试探，观察指标变化曲线，再决定要不要增加。

下面用一个表格把四个评估层级的逻辑收敛一下：

评估层级	常用方式	核心问题	局限
视觉质量	FID、KID、IS、SSIM/PSNR	分布接近程度	特征提取器不一定理解病理结构
条件一致性	分类器一致性、掩码 IoU	是否按条件生成	分类器可能利用捷径特征
病理有效性	病理医生盲评、形态学统计	组织学是否合理	主观、成本高、依赖任务
下游价值	真实测试集增量对照实验	加入后是否提升	需要完整训练多模型，成本高

4. 从研究到落地：一个最小可复用的评估流程

这一部分我会给出一条实际可用的操作路径。它不一定适合所有项目，因为数据规模、算力和任务目标不同，但可以作为大多数科研验证和工程预研的起点。

4.1 先准备一套高质量的数据集，别急着训练

条件扩散模型的训练非常吃数据，但“多”不等于“好”。在病理场景里，我更建议先花精力把数据质量打磨干净，再进入训练阶段。

具体要做的事情大体有四件：

从 WSI 切 patch 时，过滤掉背景占比过高的 patch。背景比例超过 60% 之类的 patch 可以直接舍弃。
做一次 label 清洗。如果只有 slide 级别标签，至少要用聚类或预训练分类器剔除明显错误样本。
做 patient-level 的划分。同一个患者的多个 patch 不能同时进入训练集和测试集，否则评估结果会被严重高估。
考虑染色归一化。如果数据来自多个中心，可以先做染色归一化，减少模型把“颜色”当成“类别”的风险。

数据准备阶段最容易出错的地方不是代码，而是标签与内容不匹配。一个 patch 明明只截到了间质，却被打上“肿瘤”标签，这种样本会对条件生成产生直接的误导。

4.2 训练配置：从一组保守参数开始

下面这组参数可以作为常见实践里的初始配置，但不代表它一定适合你的数据：

训练配置项	常见初始值	说明
patch size	256×256	平衡细节和显存，后续可以试 512×512
diffusion steps	1000	DDPM 的常见设置，训练时使用噪声调度
sampling steps	100-200（DDIM）	生成速度优先，可以逐步减少步数
guidance scale	2.0-3.0	先小范围测试，观察条件服从度和图像质量
conditioning dropout	0.1	为 classifier-free guidance 准备
EMA decay	0.999	让采样更稳定
batch size	由显存决定	不够可以用梯度累积代替

训练开始后，不要只看 loss 曲线。建议每隔固定步数从验证条件中采样一批图，直接用肉眼对比不同类别、不同 mask 条件的生成结果。早期生成的图像一定很乱，但方向是否错误是可以看出来的。

如果显存受限，优先减小 batch size 而不是 patch size。因为 patch size 直接决定了空间分辨率，改小了之后生成的纹理细节可能不够。如果两个都不够用，再考虑减少 UNet 的通道数或者使用深层特征做一些轻量化改造。

4.3 生成、评估、记录的循环

在评估阶段，我建议形成“固定生成种子 + 固定采样配置 + 固定评估指标”的循环。

每次评估时：

从训练好的 checkpoint 出发，固定一组随机种子。
每个类别生成 500 张左右的图像，采样步数和 guidance scale 记录在文件命名或配置文件中。
依次跑视觉质量、条件一致性和下游任务三类指标。
把实验结果整理成一张表：模型版本、采样步数、guidance_scale、FID、分类一致性、下游 AUC。

之所以要这样严格记录，是因为扩散模型在采样时对随机性很敏感。同一个 checkpoint，换一个随机种子，生成的样本分布可能差别很大；guidance_scale 哪怕差了 0.5，结果也完全不同。没有固定配置记录的评估，后续几乎无法复现，也无法定位问题出在训练还是采样。

如果模型训练时间很长，建议在每个评估周期只做一次下游任务实验，把视觉质量和条件一致性的评估放在同一个周期内频繁执行。这样能快速反馈，避免每次采样都重新训练下游模型。

4.4 常见问题排查链路

这个领域的问题，有些表现为模型不收敛，有些表现为图像很漂亮但没用。我总结了几类最常见的现象和排查顺序：

现象一：生成图像模糊。先检查 sampling steps 是否太少，guidance_scale 是否过高，再检查训练是否收敛、EMA 是否使用。
现象二：条件没有生效，不同类别的生成图像几乎一样。先确认 conditioning dropout 没有把所有条件都丢弃；再确认条件 embedding 是否随训练更新；最后检查分类器一致性指标。
现象三：FID 很好看，但病理医生一眼识破。问题通常不在训练，而在评估指标选择。需要把评估重心转移到病理有效性和下游任务。
现象四：生成图像全部是同一类颜色。可能是染色归一化不足，也可能是训练数据里不同类别的染色分布差异太大，导致模型学会“用颜色生成类别”。
现象五：加入合成数据后下游指标不升反降。先怀疑数据泄漏导致训练与测试分布不一致；再检查合成数据与真实分布是否存在系统性偏差；最后降低合成数据比例。
现象六：显存溢出。先减 batch size，再用梯度累积；如果还不行，再减 patch size 或通道数。

排查时的大方向是先看输入和标签，再看条件注入，再看采样参数，最后才怀疑模型结构。很多问题不是模型有问题，而是数据标签错了、条件没传对或者评估指标选错了。

5. 适用边界与一些更长期的判断

5.1 适合做的事，和暂时做不了的事

条件扩散模型生成病理图像，目前比较适合的研究场景有三类：

类别不平衡的数据增强。特别是罕见亚型分类任务，生成样本可以缓解少数类不足。
教学与科普素材。生成图像可以模拟多种形态学模式，辅助住院医师培训，但必须明确标注为合成图像。
预训练阶段的补充数据。在自监督预训练中加入一定比例的合成图像，有可能提升下游模型的表征稳定性，前提是经过严格验证。

不适合的场景也很明确：不能把合成图像直接用于临床诊断决策；不能在没有病理医生大规模验证的情况下，把生成结果当作“标准样例”写入病例库或诊断指南；不能替代真实数据用于临床验证。任何涉及真实患者隐私的数据链路，都必须先确认合成数据是否也需要走同样的合规审查流程。

5.2 合成数据用于训练增强时的实际操作注意点

如果你只是想用合成数据做分类任务的增强，请注意几点：

合成数据在训练集里的占比，建议从一个较低的值开始试。10%、20%、30% 依次跑对照实验，不要一上来就五五开。
合成数据和真实数据混合后，需要在训练时使用数据增强，比如随机翻转、旋转、颜色抖动，降低模型对合成痕迹的依赖。
必须在独立的真实测试集上评估，最好使用多中心数据验证。如果一个模型只在“真实 A 中心 + 合成”上表现好，到了真实 B 中心表现下滑，那说明合成数据的泛化能力仍然有限。
保留抽样日志。每一批合成数据由哪个 checkpoint、哪个采样配置生成，都要可追溯。否则当发现合成数据污染了模型时，你连哪一批数据该被清除都找不出来。