MedGemma 1.5模型解释性分析与可视化

MedGemma 1.5模型解释性分析与可视化：打开AI医疗决策的“黑箱”

当我们把一张胸部X光片或者一份CT扫描报告交给MedGemma 1.5这样的医疗AI模型时，它到底是怎么“看”的？又是基于什么做出了“疑似肺炎”或者“未见明显异常”的判断？这可能是很多医生和开发者最关心的问题。

传统的AI模型常常被称作“黑箱”——输入数据，输出结果，中间发生了什么，我们往往一无所知。但在医疗领域，这种不透明性是致命的。医生需要知道模型判断的依据，才能决定是否信任这个结果；开发者需要理解模型的决策过程，才能优化和改进它。

今天，我们就来聊聊如何给MedGemma 1.5这个医疗AI“开箱验货”，通过一系列可视化技术，看看它到底是怎么工作的。

1. 为什么医疗AI需要解释性？

在进入具体技术之前，我们先想想一个简单的问题：为什么普通的图像识别模型可以“黑箱”，但医疗AI不行？

想象一下这个场景：一位放射科医生正在审核AI生成的胸部X光报告。模型标注了“右下肺野可见片状高密度影，考虑炎症可能”。医生看着这个结论，心里会想：“这片高密度影具体在哪里？有多大？边缘清晰吗？周围血管纹理有没有改变？”

如果模型只是给出一个结论，医生很难直接采纳。但如果模型能同时展示：“你看，我关注的是右下肺这个区域（用热力图高亮），这片阴影的边界比较模糊（用边界框标注），周围的血管纹理确实有增粗（用线条标注）”——这样的解释，医生的接受度就会高得多。

这就是解释性分析的价值。对于MedGemma 1.5这样的多模态医疗模型，解释性分析能帮我们：

• 建立临床信任：让医生理解模型的“思考过程”
• 发现模型局限：识别模型可能误判的边界情况
• 指导模型优化：找到需要改进的薄弱环节
• 满足监管要求：越来越多的医疗AI法规要求可解释性

2. 注意力可视化：看模型“在看哪里”

注意力机制是现代Transformer架构的核心，也是理解模型决策的关键。简单说，注意力可视化就是把模型在处理图像时“重点关注”的区域高亮出来。

2.1 基础注意力图生成

我们先从一个简单的例子开始。假设我们有一张胸部X光片，想看看MedGemma 1.5在判断“是否有肺炎”时关注了哪些区域。

import torch from transformers import AutoProcessor, AutoModelForVision2Seq from PIL import Image import matplotlib.pyplot as plt import numpy as np # 加载模型和处理器 model_name = "google/medgemma-1.5-4b-it" processor = AutoProcessor.from_pretrained(model_name) model = AutoModelForVision2Seq.from_pretrained(model_name, torch_dtype=torch.float16) # 加载胸部X光图像 image = Image.open("chest_xray.jpg").convert("RGB") # 准备输入 prompt = "这张胸部X光片显示什么异常？" inputs = processor(text=prompt, images=image, return_tensors="pt") # 获取注意力权重 with torch.no_grad(): outputs = model(**inputs, output_attentions=True) # 提取最后一层的注意力权重 # 假设我们关注[CLS] token对其他所有token的注意力 attentions = outputs.attentions[-1] # 最后一层 cls_attention = attentions[0, :, 0, :] # batch=0, 所有头, [CLS] token # 将图像patch的注意力权重可视化 num_patches = int(np.sqrt(cls_attention.shape[-1] - len(inputs["input_ids"][0]))) image_attention = cls_attention[:, len(inputs["input_ids"][0]):].mean(dim=0) attention_map = image_attention.reshape(num_patches, num_patches) # 可视化 fig, axes = plt.subplots(1, 2, figsize=(12, 6)) # 原始图像 axes[0].imshow(image) axes[0].set_title("原始胸部X光片") axes[0].axis('off') # 注意力热力图 im = axes[1].imshow(attention_map.cpu().numpy(), cmap='hot', interpolation='bilinear') axes[1].set_title("模型注意力热力图") axes[1].axis('off') plt.colorbar(im, ax=axes[1]) plt.tight_layout() plt.show()

这段代码做了几件事：

1. 加载MedGemma 1.5模型和对应的处理器
2. 输入一张胸部X光片和一个问题
3. 提取模型最后一层的注意力权重
4. 将注意力权重转换成热力图，叠加在原始图像上

运行后，你会看到两张图：左边是原始X光片，右边是热力图。红色越深的区域，表示模型在生成回答时“看”得越仔细。

2.2 多层级注意力分析

但只关注最后一层可能不够。Transformer模型有多层注意力，每一层关注的信息可能不同。我们可以看看不同层都在关注什么：

# 分析不同层的注意力模式 num_layers = len(outputs.attentions) layer_attention_maps = [] for layer_idx in range(num_layers): layer_attentions = outputs.attentions[layer_idx] cls_attention = layer_attentions[0, :, 0, :] image_attention = cls_attention[:, len(inputs["input_ids"][0]):].mean(dim=0) attention_map = image_attention.reshape(num_patches, num_patches) layer_attention_maps.append(attention_map) # 可视化前几层的注意力 fig, axes = plt.subplots(2, 3, figsize=(15, 10)) layer_indices = [0, 3, 6, 9, 12, 15] # 选择有代表性的层 for idx, (ax, layer_idx) in enumerate(zip(axes.flat, layer_indices)): im = ax.imshow(layer_attention_maps[layer_idx].cpu().numpy(), cmap='hot', interpolation='bilinear') ax.set_title(f"第{layer_idx+1}层注意力") ax.axis('off') plt.tight_layout() plt.show()

这个分析可能会揭示一些有趣的现象：

• 浅层（第1-4层）：往往关注图像的边缘、轮廓等低级特征
• 中层（第5-10层）：开始关注特定的解剖结构，如肋骨、心脏轮廓
• 深层（第11层以上）：关注与任务相关的特定区域，如疑似病变部位

通过这种分层分析，我们能更好地理解模型的“认知过程”：从看到轮廓，到识别结构，再到定位异常。

3. 特征重要性分析：什么信息影响了决策？

注意力可视化告诉我们模型“看了哪里”，但还不够。我们还想知道：具体是哪些特征让模型做出了某个判断？

3.1 基于梯度的特征重要性

一种常见的方法是计算输入特征对最终决策的“贡献度”。在图像领域，这通常通过梯度信息来实现：

import torch.nn.functional as F # 确保梯度可计算 image_tensor = inputs["pixel_values"].requires_grad_(True) # 前向传播，获取特定token的logits with torch.set_grad_enabled(True): outputs = model(pixel_values=image_tensor, input_ids=inputs["input_ids"], attention_mask=inputs["attention_mask"]) # 假设我们关心"肺炎"这个token（需要知道token id） # 这里简化处理，取所有token的平均梯度 loss = outputs.logits.mean() # 反向传播，计算梯度 loss.backward() # 获取输入图像的梯度 gradients = image_tensor.grad[0].mean(dim=0) # 取RGB通道的平均 # 可视化梯度 plt.figure(figsize=(10, 8)) plt.imshow(gradients.cpu().numpy(), cmap='coolwarm') plt.colorbar() plt.title("特征重要性（基于梯度）") plt.axis('off') plt.show()

梯度图显示的是：如果稍微改变图像的某个像素，模型的输出会变化多少。变化大的地方，说明这个像素对决策很重要。

3.2 遮挡测试（Occlusion Test）

另一种直观的方法是遮挡测试：把图像的一部分遮住，看看模型的置信度变化有多大。

def occlusion_test(image, model, processor, prompt, patch_size=32): """ 执行遮挡测试 """ original_image = image.copy() width, height = image.size # 获取原始预测 inputs = processor(text=prompt, images=image, return_tensors="pt") with torch.no_grad(): outputs = model(**inputs) original_logits = outputs.logits # 创建热力图 heatmap = np.zeros((height // patch_size, width // patch_size)) # 遍历所有patch for i in range(0, height, patch_size): for j in range(0, width, patch_size): # 创建遮挡后的图像 occluded_image = original_image.copy() occluded_array = np.array(occluded_image) # 遮挡当前patch（用灰色填充） occluded_array[i:i+patch_size, j:j+patch_size] = 128 occluded_image = Image.fromarray(occluded_array) # 获取遮挡后的预测 inputs_occ = processor(text=prompt, images=occluded_image, return_tensors="pt") with torch.no_grad(): outputs_occ = model(**inputs_occ) occluded_logits = outputs_occ.logits # 计算置信度变化 confidence_change = torch.abs(original_logits - occluded_logits).mean().item() heatmap[i//patch_size, j//patch_size] = confidence_change return heatmap # 执行遮挡测试 heatmap = occlusion_test( image=image, model=model, processor=processor, prompt="这张胸部X光片显示什么异常？", patch_size=32 ) # 可视化 plt.figure(figsize=(10, 8)) plt.imshow(heatmap, cmap='viridis', extent=[0, image.width, image.height, 0]) plt.colorbar(label='置信度变化') plt.title("遮挡测试热力图") plt.axis('off') plt.show()

遮挡测试的结果很直观：如果遮挡某个区域后，模型的判断发生了很大变化，说明这个区域对决策很重要。

4. 决策过程解读：跟踪模型的“思考链条”

对于复杂的医疗推理，模型往往不是一步得出结论的。它可能先识别解剖结构，再分析异常特征，最后综合判断。我们可以尝试追踪这个思考过程。

4.1 生成过程可视化

MedGemma 1.5是生成式模型，我们可以观察它生成报告的整个过程：

# 设置生成参数，获取生成过程 generation_config = { "max_new_tokens": 200, "do_sample": True, "temperature": 0.7, "return_dict_in_generate": True, "output_scores": True, "output_attentions": True } # 生成报告 with torch.no_grad(): generated = model.generate( **inputs, **generation_config ) # 解码生成的文本 generated_text = processor.decode(generated.sequences[0], skip_special_tokens=True) print("生成的报告：") print(generated_text) # 分析生成过程中的注意力变化 # 假设我们关注"炎症"这个词生成时的注意力 target_token = "炎症" target_token_id = processor.tokenizer.convert_tokens_to_ids(target_token) # 找到这个token在生成序列中的位置 sequence = generated.sequences[0] token_positions = torch.where(sequence == target_token_id)[0] if len(token_positions) > 0: target_pos = token_positions[0].item() # 获取生成这个token时的注意力 # 注意：这里简化处理，实际需要根据模型输出结构调整 print(f"\n生成'{target_token}'时的注意力模式：") # 可视化注意力 fig, axes = plt.subplots(1, 3, figsize=(15, 5)) for idx, layer_idx in enumerate([5, 10, 15]): # 选择几个关键层 attention_at_step = generated.attentions[target_pos][layer_idx] image_attention = attention_at_step[0, :, 0, len(inputs["input_ids"][0]):].mean(dim=0) attention_map = image_attention.reshape(num_patches, num_patches) im = axes[idx].imshow(attention_map.cpu().numpy(), cmap='hot') axes[idx].set_title(f"第{layer_idx+1}层注意力（生成'{target_token}'时）") axes[idx].axis('off') plt.tight_layout() plt.show()

这个分析能告诉我们：当模型在报告里写下“炎症”这个词时，它正在看图像的哪些部分。

4.2 决策置信度分析

模型对自己的判断有多自信？我们可以通过采样多次生成来评估：

def analyze_confidence(model, processor, image, prompt, num_samples=10): """ 通过多次采样分析模型置信度 """ all_responses = [] for i in range(num_samples): inputs = processor(text=prompt, images=image, return_tensors="pt") with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=100, do_sample=True, temperature=0.7, top_p=0.9 ) response = processor.decode(outputs[0], skip_special_tokens=True) all_responses.append(response) # 简单的文本相似度分析 from collections import Counter # 提取关键术语（这里简化处理） key_terms = ["正常", "异常", "炎症", "结节", "积液", "未见"] term_counts = Counter() for resp in all_responses: for term in key_terms: if term in resp: term_counts[term] += 1 print("关键术语出现频率：") for term, count in term_counts.most_common(): frequency = count / num_samples * 100 print(f" {term}: {frequency:.1f}%") # 如果某个术语在90%以上的样本中出现，说明模型很确信 confident_terms = [term for term, count in term_counts.items() if count / num_samples >= 0.9] if confident_terms: print(f"\n模型高度确信的术语：{', '.join(confident_terms)}") else: print("\n模型没有高度确信的术语，判断可能不确定") return all_responses # 执行置信度分析 responses = analyze_confidence(model, processor, image, "描述这张胸部X光片的主要发现")

这种方法能帮我们识别：模型在哪些判断上很确定，在哪些地方犹豫不决。犹豫不决的地方，可能就是需要人工复核的重点。

5. 实际应用：构建可解释的医疗AI助手

了解了这些技术，我们怎么把它们用到实际中呢？这里有一个简单的框架：

5.1 可解释性报告生成器

我们可以创建一个工具，在生成医疗报告的同时，自动附上解释性分析：

class ExplainableMedGemma: def __init__(self, model_name="google/medgemma-1.5-4b-it"): self.processor = AutoProcessor.from_pretrained(model_name) self.model = AutoModelForVision2Seq.from_pretrained( model_name, torch_dtype=torch.float16, device_map="auto" ) def analyze_image(self, image_path, prompt): """ 综合分析图像，生成报告和解释 """ # 加载图像 image = Image.open(image_path).convert("RGB") # 生成基础报告 report = self._generate_report(image, prompt) # 执行解释性分析 explanations = { "attention_maps": self._get_attention_maps(image, prompt), "feature_importance": self._get_feature_importance(image, prompt), "confidence_analysis": self._analyze_confidence(image, prompt), "decision_trace": self._trace_decision(image, prompt) } # 生成可视化报告 self._generate_visual_report(image, report, explanations) return report, explanations def _generate_report(self, image, prompt): """生成文本报告""" inputs = self.processor(text=prompt, images=image, return_tensors="pt").to(self.model.device) with torch.no_grad(): outputs = self.model.generate(**inputs, max_new_tokens=300) report = self.processor.decode(outputs[0], skip_special_tokens=True) return report def _get_attention_maps(self, image, prompt): """获取注意力热力图""" # 实现前面介绍的注意力可视化代码 pass def _get_feature_importance(self, image, prompt): """计算特征重要性""" # 实现前面介绍的梯度分析方法 pass def _analyze_confidence(self, image, prompt): """分析模型置信度""" # 实现多次采样分析 pass def _trace_decision(self, image, prompt): """追踪决策过程""" # 实现生成过程分析 pass def _generate_visual_report(self, image, report, explanations): """生成可视化报告""" fig = plt.figure(figsize=(20, 15)) # 1. 原始图像 ax1 = plt.subplot(2, 3, 1) ax1.imshow(image) ax1.set_title("原始图像") ax1.axis('off') # 2. 注意力热力图 ax2 = plt.subplot(2, 3, 2) attention_map = explanations["attention_maps"]["final_layer"] im = ax2.imshow(attention_map, cmap='hot', alpha=0.7) ax2.set_title("注意力热力图") ax2.axis('off') plt.colorbar(im, ax=ax2) # 3. 特征重要性图 ax3 = plt.subplot(2, 3, 3) importance_map = explanations["feature_importance"] im = ax3.imshow(importance_map, cmap='coolwarm') ax3.set_title("特征重要性") ax3.axis('off') plt.colorbar(im, ax=ax3) # 4. 文本报告区域 ax4 = plt.subplot(2, 1, 2) ax4.axis('off') ax4.text(0, 1, "AI生成报告：", fontsize=14, fontweight='bold', verticalalignment='top') ax4.text(0, 0.9, report, fontsize=12, verticalalignment='top', wrap=True, transform=ax4.transAxes) # 5. 置信度分析 ax5 = plt.subplot(2, 3, 4) confidence_data = explanations["confidence_analysis"] terms = list(confidence_data.keys()) values = list(confidence_data.values()) ax5.barh(terms, values) ax5.set_title("关键术语置信度") ax5.set_xlabel("出现频率 (%)") plt.tight_layout() plt.savefig("explainable_report.png", dpi=150, bbox_inches='tight') plt.close() print("可视化报告已保存为 explainable_report.png") # 使用示例 explainer = ExplainableMedGemma() report, explanations = explainer.analyze_image( "chest_xray.jpg", "请分析这张胸部X光片，描述主要发现" )

这个工具会生成一个综合报告，包含：

1. 原始图像
2. 模型注意力热力图
3. 特征重要性分析
4. 生成的文本报告
5. 关键判断的置信度

5.2 临床工作流集成

在实际临床环境中，我们可以这样集成：

class ClinicalAIAssistant: def __init__(self): self.explainer = ExplainableMedGemma() self.case_history = {} def process_new_case(self, patient_id, image_path, clinical_question): """ 处理新病例 """ print(f"处理患者 {patient_id} 的影像...") # 生成分析和解释 report, explanations = self.explainer.analyze_image( image_path, clinical_question ) # 保存到病例历史 self.case_history[patient_id] = { "report": report, "explanations": explanations, "timestamp": datetime.now(), "review_status": "pending" # 待医生审核 } # 生成临床摘要 summary = self._generate_clinical_summary(report, explanations) return { "patient_id": patient_id, "ai_report": report, "clinical_summary": summary, "confidence_score": self._calculate_confidence(explanations), "key_findings": self._extract_key_findings(report), "attention_focus": self._describe_attention_focus(explanations) } def _generate_clinical_summary(self, report, explanations): """生成临床摘要""" # 提取关键信息，用医生熟悉的语言重新组织 summary_parts = [] # 1. 主要发现 if "炎症" in report: summary_parts.append("AI提示存在炎症性改变") if "结节" in report: summary_parts.append("检测到结节样病灶") # 2. 关注区域 attention_desc = self._describe_attention_focus(explanations) if attention_desc: summary_parts.append(f"模型主要关注{attention_desc}") # 3. 置信度提示 confidence = self._calculate_confidence(explanations) if confidence > 0.8: summary_parts.append("模型判断置信度较高") elif confidence < 0.5: summary_parts.append("模型判断存在不确定性，建议人工重点复核") return "；".join(summary_parts) def _calculate_confidence(self, explanations): """计算整体置信度""" # 基于多个指标综合计算 confidence_data = explanations["confidence_analysis"] avg_confidence = sum(confidence_data.values()) / len(confidence_data) return avg_confidence / 100 # 转换为0-1范围 def _extract_key_findings(self, report): """提取关键发现""" key_terms = ["炎症", "结节", "积液", "实变", "纤维化", "钙化"] findings = [term for term in key_terms if term in report] return findings def _describe_attention_focus(self, explanations): """描述注意力焦点""" attention_map = explanations["attention_maps"]["final_layer"] # 简单判断注意力集中在哪个象限 height, width = attention_map.shape mid_h, mid_w = height // 2, width // 2 quadrant_attention = { "左上": attention_map[:mid_h, :mid_w].mean(), "右上": attention_map[:mid_h, mid_w:].mean(), "左下": attention_map[mid_h:, :mid_w].mean(), "右下": attention_map[mid_h:, mid_w:].mean() } max_quadrant = max(quadrant_attention, key=quadrant_attention.get) # 映射到解剖位置（简化） quadrant_to_anatomy = { "左上": "左上肺野", "右上": "右上肺野", "左下": "左下肺野", "右下": "右下肺野" } return quadrant_to_anatomy.get(max_quadrant, "肺野区域") # 使用示例 assistant = ClinicalAIAssistant() result = assistant.process_new_case( patient_id="P202401001", image_path="chest_xray.jpg", clinical_question="请分析这张胸部X光片，描述主要发现" ) print("临床摘要：", result["clinical_summary"]) print("关键发现：", result["key_findings"]) print("关注区域：", result["attention_focus"]) print("置信度：", f"{result['confidence_score']:.1%}")

这样的系统不仅给出结论，还告诉医生：

• AI看到了什么（关键发现）
• AI在看哪里（关注区域）
• AI有多确定（置信度）
• 为什么这么判断（通过可视化解释）

6. 总结

给医疗AI模型做解释性分析，有点像给一位经验丰富的放射科医生做“思维导图”。我们不仅想知道他的诊断结论，还想了解他的阅片过程：先看哪里，重点观察什么，基于哪些特征做出判断。

通过注意力可视化，我们能看到MedGemma 1.5在处理图像时的“视线焦点”；通过特征重要性分析，我们能理解哪些图像特征对决策影响最大；通过决策过程追踪，我们能跟随模型的“思考链条”。

这些技术不仅仅是学术研究，它们正在改变医疗AI的实际应用方式。一个能解释自己判断的AI，更容易获得医生的信任；一个能展示自己思考过程的AI，更容易集成到临床工作流中。

当然，现在的解释性技术还有局限。医疗图像的复杂性、疾病表现的多样性、个体差异的影响……这些都给解释性分析带来了挑战。但正是这些挑战，让这个领域充满了探索的价值。

如果你正在使用或开发医疗AI应用，不妨试试这些解释性技术。它们可能会帮你发现模型的一些“盲点”，也可能会让临床同事更愿意接受AI的辅助。毕竟，在医疗这个领域，理解往往比结果更重要。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。