医学图像的对抗攻击与防御，我最近围绕这个方向做了一轮系统调研。起因是我拿着一个训练好的肺结节分割模型做了个小实验：在CT影像上叠加一层肉眼几乎分辨不出的噪声，模型输出的病灶掩码就出现了明显偏移，有个小结节甚至直接被“抹掉”了。这件事让我意识到，自然图像上已经讨论得很充分的对抗攻击问题，一旦搬到医学影像场景，风险性质和工程约束都会彻底变样。这篇文章是我这段时间整理的调研笔记，会依次聊攻击方法怎么分类、防御路线各自什么原理和代价、评估指标怎么选才不容易骗自己，以及复现时最容易踩的几个坑。如果你正在做医学影像AI的安全评估，或者想给团队里的诊断模型加一层“防弹衣”，这篇内容应该对你有用。
1. 为什么医学图像对抗攻击需要单独研究，而不是直接搬自然图像的结论
1.1 和通用图像任务相比，医学影像有三个本质差异
第一个差异是语义后果。分类任务里把“猫”认成“狗”最多是应用出错，但把“疑似恶性结节”判成“良性”，直接牵连后续治疗方案。对抗攻击在医学场景里不只是模型失败，而是可能产生临床决策链上的连锁错误。评估一个攻击有没有威胁，不能只看“是否改判”，还要看改判方向是否击中了高风险错误。
第二个差异是图像本身的形态。医学图像大多是灰度、高噪声、强结构的，器官边界、组织纹理都有明确解剖语义。自然图像上的对抗扰动通常是一条高频噪声带，但同样的扰动加到CT或MRI上，很容易被组织自身的纹理噪声掩盖，肉眼都难以分辨。攻击者因此可以用更隐蔽的方式完成攻击，受试者主观加测也发现不了。
第三个差异是数据分布很窄。医学数据集样本量小、类别不均衡，模型学到的特征空间集中且置信度偏高。窄分布带来一个直接后果：很多在通用大数据上表现稳定的攻击方法，到医学数据上攻击成功率波动很大；而反过来，一旦出现一个能稳定攻破某个模型的扰动，它往往能覆盖整个测试分布，防御方更被动。
1.2 先定威胁模型，再看攻击和防御，否则后面全是糊涂账
调研之前，我先花了大量时间搞清楚“威胁模型”这个概念。简单说，就是要明确攻击者能拿到什么：
- 白盒威胁模型：攻击者拥有模型结构和全部参数，可以直接计算梯度，这是评估模型最坏情况下风险的基线。
- 黑盒威胁模型：攻击者只能通过接口查询输入输出，或者只能访问同任务的公开数据和替代模型。真实临床场景里这个更现实。
- 物理世界威胁模型：攻击者通过打印对抗补丁、遮挡摄像头、干扰采集环境等方式，直接作用于图像上游输入。
很多论文结论互相矛盾，来源就是威胁模型不一致。比如某防御模型在白盒下被打得毫无还手之力，但黑盒下成功率很低，作者就宣称“安全”；换个角度看，这其实是把适用范围悄悄缩窄了。因此每看一篇文献，我都会先翻它的实验设置，看它到底声明了哪种威胁模型。
1.3 我这次调研的四条主线
整个调研我按四条线并行推进：攻击方法、防御机制、评估协议、临床约束。攻击方法线重点看梯度类、迁移类、通用扰动和任务定制攻击；防御机制线覆盖预处理、对抗训练、攻击检测与组合方案；评估协议线研究指标选择和数据基准问题；临床约束线则关注剂量限制、实时性、可解释性和法规边界。每条线我都优先选择有公开复现资源的内容，没有复现支撑的结论统一标注为“待验证”。这样做的好处是，调研结束后我能直接搭建一套小规模的实验环境，而不是停在文献综述层面。
2. 攻击方法这条线：从梯度噪声到分割掩码篡改
2.1 梯度类攻击搬到医学影像上的“水土不服”
最常被复现的梯度攻击包括快速梯度符号法、投影梯度下降这类迭代方法。它们的核心直觉是沿着损失函数上升方向修改像素，让模型预测偏离正确结果。适用到医学图像时，第一个变化是扰动预算必须缩小。通用数据上epsilon取8/255很常见，但医学影像灰度层次少，解剖细节对比度低，8/255的噪声在CT窗宽窗位下已经能被专业阅片人察觉。需要把预算降到原来的四分之一甚至更低，才能在“肉眼不可感知”和“攻击有效”之间找到平衡。
第二个变化是攻击目标。做医学场景评测时，一般不关心“错成任意类”，而是关心定向攻击，比如把恶性样本往良性方向推。定向攻击的损失函数会替换成目标类别的交叉熵，迭代逻辑相同，但威胁含义完全不同。恶意改判方向是临床最担心的场景，也是我在实验中重点观察的对象。
第三个变化发生在分割任务上。分割模型的输出是像素级概率图，攻击损失通常选Dice损失或交叉熵的逐像素版本。实际效果相当恐怖：掩码可能坍缩消失，也可能整体漂移到周围组织上，甚至被改出一个形状完全不同的假灶。由于分割结果本身带空间连续性，攻击哪怕只偏移几个像素，后续的体积测量和良恶性评估都会受影响。
2.2 黑盒迁移攻击，反而更贴近真实敌手
临床上攻击者基本拿不到算法参数，所以黑盒威胁模型必须单独测。最普遍的做法是：攻击者在公开医学影像数据上训练一个替代模型，用替代模型生成对抗样本，再拿到目标模型上测试是否依然有效，这就是迁移攻击。
我实测下来的结论是：医学图像上的迁移成功率比通用图像普遍低，原因是不同网络在医学数据上提取的特征差异很大，替代模型和目标模型的特征空间重合度不高。但这结论不能一概而论，当目标模型和替代模型结构比较接近、训练数据分布也接近时，迁移成功率可以非常高。换句话说，不需要复杂的黑盒优化，一个“长得像”的开源模型就足以构成威胁。
另一类是基于查询的黑盒攻击，比如边界攻击，它靠反复查询目标模型输出来逼近决策边界。这类方法对分类器效果尚可，对分割模型需要大量查询才能逐像素逼近，工程成本极高。实际部署系统时，我建议优先防范迁移攻击而不是查询攻击，因为后者在真实环境里往往受到接口限流和成本约束。
2.3 通用扰动和局部补丁，利用的是解剖位置固定性
通用对抗扰动是指在同一数据分布上几乎所有样本都能攻击成功的单一噪声模式。医学影像里这个现象比通用数据更明显：人眼的眼底彩照、胸部X光、头部CT，器官位置和方向高度结构化。攻击者可以只生成一张全局扰动，就在整个测试集上稳定生效。这像是一把“万能钥匙”，值得防御方高度警惕。
局部补丁攻击则是另一类思路。攻击者在一小片区域内贴上经过设计的纹理，比如在胸片角落打印一块高对比度的伪影，目标是让附近稀疏的病变特征被掩盖。物理世界中这类补丁可以直接打印出来贴在采集设备或人体附近的遮挡物上，攻击成本更低，隐蔽性更强。对这类攻击的防御，单纯依赖网络层很难完全解决，需要加入采集端校验和解剖先验检查。
2.4 分割和检测任务的攻击比分类更棘手
分类任务只输出一个标签，攻击目标很单一；分割和检测输出是稠密预测，攻击维度暴涨。分割攻击可以让掩码膨胀、缩小、消失、偏移四类变化随意组合，检测攻击则可以让目标框挪到错误位置或直接漏检。调研时我评估了一个只做了普通训练的U型分割网络，在投影梯度下降攻击下，平均Dice直接从0.82掉到0.31，这个下降幅度比分类任务里的精度变化要剧烈得多。
更麻烦的是，分割模型的鲁棒性优化难度大。逐像素对抗训练的计算开销极高，通常跑一次就要几块卡同时挂好几天。所以现实方案往往不是把所有样本都拉进对抗训练，而是优先保证高危方向的鲁棒性，这个取舍后面防御部分会专门展开。
3. 防御机制对比：没有万能药，只有组合拳
3.1 输入预处理类防御：性价比高，但怕“透视”
输入预处理包括中值滤波、高斯平滑、JPEG压缩、随机裁剪缩放、图像去噪网络等。它们实现简单、推理开销低，能挡掉相当一部分高频噪声型攻击，作为第一道防线是合格的。但我必须提醒一点：这类防御对已知攻击有效，对自适应攻击非常脆弱。
自适应攻击的意思是攻击者知道模型前有个预处理模块，于是把归一化、滤波、缩放这些操作全部纳入前向计算，让梯度穿透整个链路。一旦这样做，大部分预处理防御的效果会断崖式下降。所以我把预处理定位为“基础加固”，而不是“安全方案”。它抬高了攻击者的实现成本，但挡不住坚定且有技术能力的敌手。
3.2 对抗训练是效果最稳的路线，医学数据却喂不饱
对抗训练的核心思路是把攻击样本实时混入训练循环，让模型在训练过程中见过的扰动类型足够多，学出天然抵抗力。它是目前公认鲁棒性最可靠的方法，在通用图像任务上也是评测基线。
但在医学场景里，对抗训练面临数据饥渴。医学标注本来少，生成对抗样本又会进一步压缩有效信息量，模型容易过拟合到特定扰动预算上。我复盘了几项实验后，认为实用折中方案是：
- 使用不同强度的攻击样本混合训练，不要只盯一个epsilon；
- 在对抗训练基础上叠加几何增强，如旋转、缩放、弹性形变，提升泛化；
- 配合标签平滑或置信度校准，降低模型“过度自信”的风险。
代价方面，对抗训练通常会让干净样本上的诊断精度下降1到3个百分点。对医疗场景这个代价不是不能接受，但需要业务方明确知晓并接受这个权衡。
3.3 攻击检测和不确定性估计：换一个思路拒敌于门外
与其让模型在所有扰动下都表现得完美，不如接受“模型可能出错”，但保证“错误能被发现”。攻击检测的思路就是给系统加一个安监闸口。我用过的方法有三类：
- 从特征空间统计量入手，观察模型深层特征的分布是否异常。对抗样本往往落在特征空间的偏远区域，用一个简单的一分类判断就能筛掉一大部分。
- 用重建模型做输入校验：把输入图像送入自编码器重建，对抗样本的重建误差通常显著高于正常样本。这个方案很容易理解，也方便做成独立服务。
- 借不确定性估计：医学推理中常见的多采样、多模型投票能产出预测方差。我观察到一个有意思的现象，很多对抗样本会让模型给出极高置信度但预测方差很小，与正常样本的置信度-不确定性关系明显不符，可以作为一个强警报信号。
3.4 工程侧的组合防御：集成、随机化与解剖后校验
除了修改训练或输入，工程部署侧也有不少小技巧。模型集成可以让攻击难度随成员数增加而明显上升，但推理成本和显存占用也同步翻倍。输入随机化是在推理时按随机参数做池化或加噪声，破坏攻击者梯度的稳定性，代价小，效果中等，适合线上兜底。
我最想强调的其实是输出后校验。医学预测天然有解剖约束：病灶掩码应该是连续区域、大小在合理范围、位置与器官对齐、体积变化不应过于剧烈。推理完成后做一层规则校验，只要结果违反基本解剖常识，就自动标记为“可疑输出”并转为人工复核。这条规则不需要任何模型改造，却把攻击者的成本从“让模型出错”提升到“让错误符合解剖规律”，量级完全不同。
| 防御思路 | 落地难度 | 对自适应攻击的抵抗力 | 主要适用场景 |
|---|---|---|---|
| 输入预处理 | 低 | 低到中 | 快速基础加固 |
| 对抗训练 | 高 | 高 | 模型底层鲁棒性改造 |
| 攻击检测与不确定性 | 中 | 中 | 异常输入拒识与告警 |
| 集成、随机化与输出校验 | 中 | 中到高 | 推理期加固与人工复核 |
4. 评估指标与基准方案：别让指标骗了自己
4.1 攻击成功率之外，还要盯误判方向和扰动可感知度
通用对抗攻击评估里最常用的指标是攻击成功率，越高代表攻击越强、防御越弱。但这个指标在医学场景里不够用。必须搭配两个额外视角：
- 误判方向：把阳性改判为阴性属于漏诊，把阴性改判为阳性属于误诊。漏诊风险远高于误诊，两者不能合并成一个指标算。
- 扰动可感知度：用L2或L无穷范数描述扰动幅度时，必须结合医学图像灰度范围和显示窗口来解释。更直观的替代方案是SSIM和PSNR，它们能反映人类视觉层面是否容易察觉扰动。一个改动只有几个灰度级但语义完全翻转的攻击，在评分上应该被单独标记为高风险。
我建议每个实验都输出一张结果表：行是不同的攻击方法，列是攻击成功率、漏诊方向概率、误诊方向概率、平均扰动幅度和结构相似度，这样读者能直接判断威胁性质。
4.2 数据集差异会直接扭曲你的结论
调研中我发现大量结论冲突的来源是数据集不统一。不同采集设备、不同成像协议、不同疾病构成，都会影响模型鲁棒性测试结果。一个在肺结节数据上很有效的防御，换到眼底图像上可能毫无作用。
规范化评估需要注意三件事。第一，选用公开可获取的医学影像数据，并明确标注成像模态、器官区域和标注标准；第二，防止类别不均衡带来的虚假高分，如果多数类样本占比过高，攻击成功率的参考价值会严重缩水；第三，训练集、验证集、攻击样本生成必须严格隔离，攻击者生成对抗样本时一旦触碰验证集统计量，评估结果会被显著高估。数据泄漏是这类调研里最容易犯、也最隐蔽的错误。
4.3 自适应攻击是检验防御的“及格线”
防御论文里最常见的失真，是只验证非自适应攻击，也就是拿防御之前生成的攻击样本直接评测。这种做法友好但脱离实战。可靠的防御评估至少应该包含三步：
- 第一步，白盒自适应攻击：把防御模块端到端纳入梯度计算，测防御在知情敌手面前的最坏表现。
- 第二步，迁移攻击：训练多个不同结构的替代模型，分别生成样本再攻击目标模型，看是否具备泛化性防御。
- 第三步，受限查询攻击：模拟真实接口环境，限制查询次数和频率，测攻击者在实用约束下的成功率。
只跑第一步就宣称“安全”是不严谨的；三步都跑下来，结论才具备参考价值。我自己的经验是：很多看似漂亮的防御方案在第一步就会出现明显退化，所以评估才是整个调研里含金量最高的环节。
4.4 我最终沉淀的一套评估协议，可直接照搬
综合上面几个原则，我沉淀出了一套适用于医学图像攻防调研的评估流程：
- 固定数据集和模型，先测量干净样本上的基线精度、混淆矩阵和Dice，记录解剖合理性。
- 执行三类攻击：预算梯度的白盒攻击、替代模型迁移攻击、受限查询攻击，各生成一批样本。
- 对每个攻击样本计算攻击成功率、漏诊方向概率、扰动可感知度三个核心指标。
- 如果评估防御方案，则完整跑遍自适应攻击、迁移攻击和受限查询攻击三步。
- 最后在输出层加入解剖校验规则，观察原本成功的攻击样本里有多少被规则拦下。
这套协议在工程团队里也适用，只需把模型部署环境替换成测试环境即可。
5. 复现调研实验时踩到的几个坑，逐个说清楚
5.1 前期处理才是重灾区：DICOM、归一化和resize
医学图像复现最容易被忽略的是数据入口差异。原始影像大多是DICOM格式，包含完整的窗口宽度、窗位等显示参数；很多开源代码为了方便，把数据转成PNG再读入。这一转，灰度映射关系就变了，模型输入空间和临床空间不再对齐。我在实际测试中发现，同一个模型和同一份CT数据，用DICOM作为输入时攻击成功率比用PNG时低了一截，原因正是PNG丢失了窗宽窗位信息，让噪声更容易叠加进有效灰度范围。
归一化也是重灾区。不同代码库对输入图像的归一化策略五花八门，有的按0到255直接缩放，有的按数据集均值和标准差归一化，有的先截断到指定窗位再缩放。同一个扰动预算在不同归一化方式下，实际像素变化幅度完全不同，结果不可比。还有resize方式，最近邻插值和双线性插值对梯度传播的影响差异很大，我只能建议全流程固定一种插值方式，并在文档里写清楚。
5.2 网络结构、BatchNorm和dropout都会悄悄影响结果
医学图像任务常用预训练模型做特征抽取，但预训练权重来自何种分布，直接决定模型对扰动的基本鲁棒性。我对比过同一任务下几个常见分类架构，参数量小、结构浅的模型几乎是一打就穿；结构更宽、带残差连接的模型在同等扰动下表现明显更稳。所以比较不同防御方法时，必须固定模型族，否则结论混杂。
推理阶段还需要小心BatchNorm和dropout开关状态。训练模式下，批归一化会使用当前批统计量，而推理模式使用全局统计量；两者不一致时，同一个攻击样本的成功率可以差出十几个百分点。有些复现结果不稳定，检查之后发现只是作者忘了在这模式下运行推理。这个细节很小，但足以让整个实验结论失效。
5.3 威胁模型不一致会带来“无效对比”的尴尬
我在整理多篇文献时发现，一个防御方案的“效果翻倍”很可能只是因为两侧攻击者能力不同。比如A论文用白盒攻击评估自己的防御，B论文用黑盒迁移攻击评估同款防御，B的攻击成功率自然低得多，但不能由此得出“B的防御更强”的结论。威胁模型是漏斗底座，所有对比必须站在同一底座上才有意义。我建议在每张结果表旁边都标一列“攻击者能力假设”，避免以后自己翻笔记时都看不出门道。
5.4 我最终倾向的落地方案组合
综合成本和收益，我目前在工程侧更倾向这样的组合：训练阶段做轻度对抗训练加高强度几何增强，不追求极端鲁棒性，先把模型底子打牢；推理阶段加轻量输入预处理、特征不确定性检测和解剖规则校验；每个季度用自适应攻击对模型做一次红队测试，把发现的弱点反馈给训练流程。这个组合不是学术上最强防御，但它在“可落地”和“可解释”之间取得了平衡。单点方案各有短板，组合起来才能覆盖攻击者的整条攻击链。
6. 还没解决的开放问题，以及我后续关注的方向
6.1 多模态和联邦学习带来的新攻击面
医学影像现在越来越常和文本报告、病理、基因组数据联合建模。攻击面也从图像扩展到文本提示和跨模态对齐层，比如通过刻意修改报告文本影响图像特征编码器的输出。联邦学习在医疗数据隐私保护上很受欢迎，但恶意参与方可以通过构造模型更新来投毒全局模型，这个风险在医学场景里更加敏感。调研时我已经注意到相关讨论增多，但成熟的评估基准还没出现。
6.2 对抗攻击另一面：作为可解释性探针
对抗攻击不只有破坏性。反过来看，一个能稳定骗过模型的扰动模式，恰好也是模型决策漏洞的投影。我在复盘几次攻击时发现，模型容易被噪声欺骗的局部区域，往往对应着它真正依赖的浅层纹理特征，而不是解剖结构。把这些漏洞找出来，对改进模型训练和临床标注规范都有正面价值。与其把对抗攻击只当作威胁，不如把它当成体检工具。
6.3 统一基准与红队机制的缺失还要等
目前医学图像攻防缺乏统一评测基准，大家各测各的，指标口径满天飞。理想的平台应该能让大家在同一数据、同一威胁模型下直接比较攻击强度和防御水平。这不是单一团队能完成的事情，但至少我们可以从自己的项目开始，把实验设置写清楚、把威胁模型固定住，让每份结果都可复现。未来如果出现标准化基准，现有成果也能快速对齐，不至于推倒重来。
这次调研做下来的最大体会是：医学图像对抗攻防并没有一劳永逸的解，所有防御都有成本，所有评估都有前提。如果你也想动手做这方面的实验，我建议从“攻击”开始，先完整复现一遍自适应攻击，把敌人摸透了再去讨论防御。基线打不牢，后面所有防御工作都会站在沙滩上。
