前言
本周精读两篇南方医科大学刘再毅教授团队医学影像 AI 综述论文：
- 《医学影像人工智能发展现状、困境剖析与前景展望》（《中华放射学杂志》2024）
- 《医学影像大模型：肿瘤精准诊疗的范式革新》（《协和医学杂志》2025）
两篇论文一脉相承，从医学影像标准化数据集构建、 大模型算法优化、 算力资源利用等方面，拆解了医学影像发展状态、面临的几大核心困境并提供了对应解决方案。本篇详细解读两篇论文中系统概念、主流模型、机器学习方法等，并整理完整开源仓库链接，适合医工交叉、医疗AI、医学影像算法学习者阅读参考。
论文原文链接：
论文1：《医学影像人工智能发展现状、困境剖析与前景展望》
https://rs.yiigle.com/cmaid/1519589
论文2：《医学影像大模型：肿瘤精准诊疗的范式革新》
https://dx.doi.org/10.12290/xhyxzz.2025-0328
一、基础概念解析
1.DICOM存储格式：
DICOM = Digital Imaging and Communications in Medicine
中文标准译名：医学数字成像与通信标准
全球放射、超声、内镜、核医学设备通用的文件存储 + 传输 + 元数据一体化工业标准，所有医院 CT、核磁、DR、PET-CT 设备输出的原始影像全部是 DICOM 文件（后缀.dcm）。
| 对比维度 | DICOM 医学影像 | JPG/PNG 普通图片 |
| 像素信息 | 保留原始 CT/MRI 灰度值，支持定量分析 | 压缩后像素失真，丢失原始灰度 |
| 临床元数据 | 内置患者信息、检查部位、诊断编号 | 无任何额外信息，需另外匹配病历 |
| 设备参数 | 记录扫描协议、磁场强度、层厚、重建算法 | 无法消除不同来源数据的域偏移 |
| 三维时序 | 自带切片空间坐标，可堆叠 3D 病灶、绑定随访多期影像 | 仅单张二维图像，无空间、时序关联信息 |
2.时空异质性
1)空间异质性
同一个肿瘤内部，不同区域细胞、组织结构不一样。
一块肺癌结节里，有的区域是良性炎性组织、有的是高侵袭癌细胞、有的已经坏死、有的供血血管丰富；而肉眼看普通 CT 只能看到有个“疙瘩”，分不清内部差异。这就是空间异质性：肿瘤同一时间、不同空间位置生物学特性不一样。
2)时间异质性
同一个病人的肿瘤。随着时间会持续变化。
治疗前→化疗 2 周期→手术前→术后随访。肿瘤大小、内部坏死程度、侵袭能力不断改变；甚至同一疗程内，肿瘤部分区域耐药、部分区域持续缩小。这就是时间异质性：肿瘤在不同时间点生物学特性发生变化。
3.混合专家（MoE，Mixture of Experts）架构
稠密模型：每一次推理、训练，模型全部参数必须参与计算；
MoE 架构：把整个大模型拆分成上百个独立小型子网络（称为专家 Expert），搭配一个门控路由网络，每次输入数据只会选择激活极少一部分专家参与运算，其余专家全程休眠不计算。
DeepSeek-V3 的核心优势
- 推理仅激活少量参数，大幅压缩训练、推理成本：模型总参数量可以做到几百亿规模，但实际运行只启用 2~4 个专家的参数，显存占用、算力消耗远低于同等能力的稠密 GPT 模型；
- 领域任务分工更专业：不同专家会自主专精不同类型内容，对应领域专家单独处理，理解精度优于统一的稠密模型。
4.动态负载均衡策略
这是一套训练全程实时生效的路由调控算法，持续监控每一个专家处理的样本总量，自动修正门控网络的数据分配逻辑，让所有专家承接的样本数量维持相对平均。 “动态” 关键含义：不是固定分配规则，训练过程中实时调整分流，适配不断变化的输入数据分布。
门控网络分配数据时极易出现分配失衡：
- 热门专家：绝大多数输入样本都路由到少数几个专家，算力满载、梯度剧烈震荡，训练 loss 波动大、模型不稳定；
- 冷门专家：绝大多数专家几乎分配不到样本，权重长期得不到更新，等同于模型白设计、显存资源闲置浪费。
动态负载优势：
- 节省计算资源杜绝部分专家满载、部分专家闲置的两极分化，所有显卡、专家子网算力充分利用，避免硬件资源空耗，同等训练任务下总算力开销更低。
- 提升训练稳定性各专家接收样本量均匀，权重梯度更新幅度平稳，不会出现个别专家梯度爆炸、损失剧烈抖动，模型收敛过程更顺滑，大幅降低训练中途崩掉、效果退化的概率。
5.联邦学习（Federated Learning，FL）
2016 年谷歌提出，属于中心化分布式协同训练框架，专门解决医疗、金融这类「原始数据不能出本地」的痛点。
核心规则：原始数据永远留在各机构本地，只上传模型参数 / 梯度到中心服务器，不传输患者影像、病历等隐私数据。
核心优势：
- 规避数据集中的隐私安全风险：传统模式需要把全部医院患者影像上传到同一台服务器，极易发生数据泄露，违反医疗隐私法规；联邦学习全程原始数据不出院区，从根源保护患者隐私，打破医院间的数据孤岛；
- 节约海量数据传输时间成本：影像文件（CT、病理切片）单张体积巨大，批量上传耗时极长；而模型参数量远小于原始图像，仅传输参数能大幅降低传输流量与等待时间。
天生短板：
架构是星形中心化结构，存在一个唯一核心服务器：
- 单点故障风险：中心服务器宕机、遭受网络攻击，整个多中心训练直接中断；
- 传输压力集中：所有机构参数都要上传云端，上千家医院大规模组网时云端带宽拥堵，训练速度大幅下降；
- 全局稳定性差：某一家医院本地训练异常、上传错误参数，会直接干扰中心聚合结果，拖累全部参与方的训练收敛。
6.群体学习（Swarm Learning，SL）
2021 年 Warnat-Herresthal 在《Nature》发表，彻底移除唯一中心服务器，实现多中心对等 P2P 网状协同训练，专门弥补联邦学习中心化架构的缺陷。
核心优势：
- 去中心化安全性更强：没有单点核心服务器；任意一家医院断网、退出、被攻击，剩余节点仍能正常交换参数、持续训练；
- 训练稳定性显著提升：单家医院数据分布失衡、训练波动不会扩散到全网；可随时新增 / 移除医院节点，模型收敛曲线更平滑；
- 降低云端传输成本：采用就近点对点传输，跨省市多中心联合训练时传输延迟、带宽开销大幅下降。
7.生成式自监督
1）VAE 变分自编码器
流程：原图压缩为低维隐向量→从向量随机采样→解码器还原生成新图像
特点：生成图像稳定可控，擅长低分辨率医学影像降噪、小样本数据扩充
缺点：生成画面偏模糊，细节不足
2）GAN 生成对抗网络
双网络对抗训练：生成器造假影像，判别器分辨真假；二者互相博弈，直到生成图骗过判别器。
特点：生成纹理细节清晰
缺点：训练不稳定、容易模式崩溃
3）Diffusion Model 扩散模型
先正向：给原图逐步加噪声变成纯白噪点→反向：从纯噪声逐步还原出清晰医学影像
特点：生成高清 CT/MRI/ 病理图，细节远超 VAE、GAN
8.重建式自监督
1）MAE 掩码自编码器：
不生成全新图片，而是故意遮盖原图大部分区域，让模型把遮住的像素还原重建出来，靠 “补全残缺图像” 学习视觉特征。
和生成式最关键区别：
MAE 不会创造全新图像，只是复原同一张原图被盖住的部分；不生成新样本，只学习原图内部空间、纹理、解剖关联。
9.MedSAM（医学专用轻量化 SAM 分割模型）
Meta 原版 SAM 是通用自然图像分割模型，体积庞大、显存开销高，直接用在 CT、MRI、病理切片上显存极易溢出，且对肿瘤、病灶识别适配差。MedSAM 是专门面向医学影像改造的 SAM 衍生模型。
10.ViT（Vision Transformer）
ViT 是通用图像大模型的视觉编码器主干，把一张图片切分成若干图像块（patch），像文本 Transformer 处理文字一样，用自注意力机制提取图像全局、局部特征。 原始 SAM（分割一切模型）的视觉主干就是标准大尺寸 ViT。
- 优点：捕捉长距离依赖，能同时看懂整张 CT / 病理切片全局轮廓 + 微小肿瘤病灶；
- 痛点：标准 ViT 参数量巨大、计算量大，推理、训练时会占用大量 GPU 显存，医院低端工作站、普通显卡跑不动。
Tiny = 微型、轻量化，在标准 ViT 结构基础上做多层瘦身优化：减少 Transformer 层数、缩小注意力头数量、简化通道维度，大幅削减总参数量与计算量。
二、重点观点分析
论文1：
| 序号 | 现存问题 | 解决方案 |
|---|---|---|
| 1 | 现有数据集不仅标准多样，还普遍存在显著的系统偏差，加之对疾病认知的差异性，共同构成了阻碍。更为棘手的是，数据及其标注的不统一与标准化缺失，极大地增加了机器学习算法处理这些数据的复杂度，阻碍了机器与数据之间的顺畅交互。 | 2016 年，国际知名的 FORCE11 组织正式提出了FAIR 科学数据管理准则，该原则旨在对医学影像数据的收集、处理、应用及管理提供一套标准化的框架与指导。 FAIR 原则强调数据的四大核心属性：可查询性 (Findable)，确保数据易于被查询与识别；可访问性 (Accessible)，保障数据对用户开放且无障碍获取；可交互性 (Interoperable)，促进不同系统间数据的无缝交流与整合；可再用性 (Reusable)，即数据应能被重复利用并支持多样化的研究需求。 |
| 2 | 这种泛化能力不足的根本原因可能是数据样本量的不足、样本的多样性不足、数据标注的一致性差，以及特征筛选方法不恰当等。 | 1. 采用更先进的神经网络架构，如Transformer可以更精确地捕捉医学影像中的复杂细节，从而显著提高模型的准确度。 2.强化学习允许模型通过与环境的持续互动自我优化和进步；而迁移学习可以让模型基于已有的知识迅速适应新任务和不同的数据分布，极大提升模型的适应性和效率。 |
| 3 | 深度学习算法自动生成的特征则因其内在的 “黑箱” 特性而显得神秘莫测。这些特征缺乏直观的定义和明确的数学表达式，导致其在生物学层面的可解释性大打折扣。这一局限性在一定程度上阻碍了深度学习在临床医学中的广泛应用。 | 一种常见的解决方法是利用特征力图，通过反向推理模型的决策，从而判断模型关注的区域在临床诊断中的重要性； 开展基因与影像特征之间的联系，使用生物技术开展动物模型研究，以揭示影像特征的深层生物学机制。 |
| 4 | 不同模态间的医学影像数据（如 CT、MRI、PET 等）存在显著的语义和特征空间差异，单一模态信息不足以支撑完整诊疗判断。 | 将不同类型的医学影像，如 MRI、CT、超声、PET 等进行有机融合，能够为疾病的诊断和治疗提供更全面、更精准的信息。利用深度学习中的多模态融合网络，能够自动学习不同模态数据之间的权重和相关性，从而提取出更具鉴别力的特征。 |
论文2：
| 序号 | 现存问题 | 解决方案 |
|---|---|---|
| 1 | 传统 AI 技术在肿瘤诊疗中的应用长期受限于 “单任务、单病种” 的开发范式，难以满足临床实践对智能诊断系统泛化性和适应性的迫切需求。 | 多任务模型可通过使用同一底层特征编码器对不同任务进行预测，不仅减少了模型训练成本，且可通过任务间的知识迁移增强模型的临床适用性。 |
| 2 | 医学文本数据与通用文本数据存在明显差异，其具有较多专业词汇及描述方式，直接使用通用文本数据集训练文本编码器难以取得理想成绩。 | 研究人员基于 PubMed 等生物医学文献平台构建专业数据集，并相继开发了PubMedBERT、BioBERT 和 ClinicalBERT等医学专用预训练模型。 |
| 3 | 医学影像数据采集存在明显的中心差异，不具有统一规范标准，如影像中 CT、MRI、PET 不同扫描参数的设置差异，病理中使用不同倍镜采集全视野数字影像的尺度差异。 | FORCE11 组织提出了FAIR 数据管理准则，为医学影像数据的标准化管理建立了重要框架，包括可查询、可访问、可交互、可再用四个方面。 |
| 4 | 医学数据包含患者的个人身份、健康状况、诊疗过程等敏感信息，泄露患者隐私会对社会造成恶劣影响，并严重违背医院伦理规定及相关法律法规。 | 联邦学习允许多个参与方在不共享原始数据的情况下协同训练机器学习模型，保护患者隐私和数据安全。 |
| 5 | 数据安全隐患会导致所谓的“数据孤岛” 现象进一步加剧，这显然不利于大规模数据集的建立。 | 群体学习在联邦学习的基础上进一步实现了多中心学习的去中心化，保证模型训练的安全性和稳定性，降低了大规模数据云端传输的时间成本。 |
| 6 | 不同癌种在生物学特性、病理过程和影像表现上的异质性，以及同一癌种在不同患者间的个体差异，共同构成了模型泛化的主要障碍。 | 对比学习算法通过构建正负样本对来学习数据的高维特征表示，不仅能有效挖掘不同癌种和模态间的特征差异性与相似性，还可平衡多模态特征的权重，显著提升模型的数据利用效率。 |
| 7 | 大规模数据集的精准标注成本过高，限制了其实际可操作性。 | 自监督学习主要包括生成式自监督和重建式自监督，前者通过生成与真实数据相似的伪样本学习图像内在特征，后者通过恢复图像缺失部分学习图像的局部与全局特征。 |
| 8 | 医学影像大模型参数量往往高达数十亿至数百亿，通常会采用高性能计算设备和技术，硬件成本门槛高。 | DeepSeek-V3 采用了混合专家 MoE 架构，其仅需激活少量参数即可完成推理任务，极大程度降低了训练成本。 |
| 9 | 原始 SAM 模型参数量大、计算开销高，直接应用于医学影像分割任务时对硬件资源要求较高。 | MedSAM可在保证图像嵌入特征向量尺寸不变的情况下，将原始模型中的视觉编码器模块 ViT 替换为轻量化视觉编码器模块 TinyViT，以降低对 GPU 显存的要求。 |
| 10 | 大模型在临床环境中部署和应用时，常面临显存占用高、推理速度慢和基层医院硬件条件有限等问题。 | 知识蒸馏技术也可在一定程度上弥补算力不足的问题，通过让小模型学习大模型的知识，实现模型压缩和高效部署。 |
| 11 | 模型决策过程缺乏足够的临床可解释性，会影响医生对 AI 结果的信任度和临床接受度。 | 通过梯度加权类激活映射 Grad-CAM等可视化技术对大模型的特征提取和融合过程进行详细剖析，从而使临床医生更直观地理解在模型决策中起决定性作用的变量特征。 |
三、学习收获总结
1. 论文1
全阶段剖析医学影像 AI 落地困境，归纳四大行业共性难题：数据标准化缺失、模型泛化能力不足、模型生物学可解释性差、跨机构数据孤岛与隐私冲突；并对应给出标准化、分布式隐私计算、可解释可视化、多模态融合四大完整解决路径，同时预判医疗大模型、多模态融合、伦理法规三大长期发展方向，是入门的纲领性综述。
2. 论文2
传统单任务医学 AI 存在单病种、泛化差、罕见病失效、重复开发成本高等硬伤；医学影像大模型通过多模态融合、自监督预训练、跨中心知识迁移，重构肿瘤诊疗底层逻辑，实现从「单一静态影像诊断」到「多组学动态个体化预测」的范式变革.
四、主流医影模型
1. BioBERT
- 开源地址：https://github.com/naver/biobert-pretrained
2. ClinicalBERT
- 开源地址：https://github.com/EmilyAlsentzer/clinicalBERT
3. MedSAM
- 开源代码：https://github.com/bowang-lab/MedSAM
