使用MedGemma 1.5构建医疗知识图谱的实践

使用MedGemma 1.5构建医疗知识图谱的实践

如果你在医疗行业工作，或者对医疗AI感兴趣，你肯定遇到过这样的问题：海量的医疗文献、病例报告、影像资料散落在各处，医生和研究人员想找点有用的信息，就像大海捞针。传统的数据库只能存结构化数据，但医疗信息大多是文本描述、影像报告这种非结构化的内容，很难被机器理解和关联。

最近，谷歌开源的MedGemma 1.5模型，给这个问题带来了新的解法。这个模型专门为医疗场景设计，不仅能看懂CT、MRI这些复杂的医学影像，还能理解病历文本、化验报告，甚至能听懂医生的口述。更重要的是，它能从这些非结构化的数据里，提取出结构化的知识——比如疾病名称、症状表现、治疗方案、药物关系等等。

今天我就来分享一下，怎么用MedGemma 1.5从零开始构建一个医疗知识图谱。我会用一个实际的例子，带你走完从数据准备、知识提取到图谱构建的完整流程。整个过程不需要你懂太多AI技术，跟着步骤做就行。

1. 为什么需要医疗知识图谱？

在讲具体怎么做之前，我们先聊聊为什么要做这件事。

医疗知识图谱，简单说就是把医疗领域的各种知识，用“实体-关系-实体”这种图结构组织起来。比如“糖尿病”这个疾病实体，它和“胰岛素”这个药物实体之间，存在“治疗方案包含”的关系；它和“多饮、多尿、多食”这些症状实体之间，存在“临床表现包括”的关系。

有了这样的图谱，很多应用场景就变得可能了：

• 智能问诊辅助：患者输入“我最近总是口渴、尿多”，系统能快速关联到“糖尿病”的可能性，并提示需要检查血糖。
• 临床决策支持：医生在制定治疗方案时，系统能自动推荐相关的药物、检查项目，并提示可能的药物相互作用。
• 医学研究加速：研究人员可以快速找到某个疾病的所有相关基因、药物、临床试验，发现新的研究线索。
• 患者教育：用图谱的形式向患者展示疾病的发展过程、治疗路径，比纯文字更容易理解。

但构建这样的图谱，最大的难点在于“知识从哪里来”。医疗知识分散在教科书、论文、病例报告、影像报告里，而且大部分都是自然语言描述。传统方法需要大量医学专家手工标注，成本高、效率低。

MedGemma 1.5的出现，正好解决了这个痛点。它就像一个专业的医学助手，能自动阅读和理解这些非结构化资料，帮我们把里面的关键信息提取出来。

2. MedGemma 1.5：你的多模态医学助手

在开始动手之前，我们先简单了解一下MedGemma 1.5到底能做什么。你不用记住所有技术细节，知道它能帮你解决什么问题就行。

MedGemma 1.5是一个专门为医疗场景优化的AI模型，只有40亿参数，不算大，但能力很聚焦。它最大的特点是“多模态”，也就是能处理多种类型的医疗数据：

• 能看懂医学影像：不只是普通的X光片，连CT、MRI这种三维的扫描数据，还有病理切片的全景图，它都能分析。比如你给它一张胸部CT，它能告诉你有没有肺结节、大概在什么位置。
• 能理解医学文本：病历记录、化验报告、出院小结这些文本，它读得懂。能从一大段描述里，提取出关键的检查结果、诊断结论。
• 能进行纵向对比：比如同一个病人半年前和现在的胸片，它能对比着看，告诉你病灶有没有变化。
• 能定位解剖结构：在影像上框出心脏、肺部这些器官的位置。
• 还能听懂医生说话：配合另一个叫MedASR的语音模型，能把医生的口述直接转成文字，再交给MedGemma分析。

对我们构建知识图谱来说，最有用的是它的“信息提取”能力。它能把一段非结构化的文本或影像描述，转化成结构化的数据点，这正是我们需要的。

3. 环境准备与模型部署

好了，理论讲得差不多了，我们开始动手。第一步是把环境搭起来。

MedGemma 1.5的部署方式很灵活，既可以在谷歌云上直接用，也可以下载到本地服务器运行。考虑到医疗数据的隐私性要求高，很多机构会选择本地部署。这里我以本地部署为例，假设你有一台配备RTX 3090或更高性能GPU的服务器。

3.1 基础环境配置

首先确保你的系统满足基本要求：Python 3.10或更高版本，至少32GB内存，GPU显存最好有24GB以上（如果显存不够，可以用量化版模型，后面会提到）。

打开终端，创建一个新的Python虚拟环境（这能避免包版本冲突）：

# 创建虚拟环境 python -m venv medgemma-env # 激活虚拟环境（Linux/Mac） source medgemma-env/bin/activate # 激活虚拟环境（Windows） medgemma-env\Scripts\activate

然后安装必要的Python包：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers accelerate bitsandbytes pip install sentencepiece protobuf

这里安装的是PyTorch和Hugging Face的transformers库，这是运行MedGemma的基础。

3.2 下载和加载模型

MedGemma 1.5的官方模型可以在Hugging Face上找到。我们直接用transformers库加载：

from transformers import AutoProcessor, AutoModelForCausalLM import torch # 指定模型路径（Hugging Face上的模型ID） model_id = "google/medgemma-1.5-4b-it" # 加载处理器和模型 print("正在加载模型，这可能需要几分钟...") processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.bfloat16, # 使用bfloat16节省显存 device_map="auto" # 自动分配到可用的GPU ) print("模型加载完成！")

第一次运行时会下载模型文件，大概有8GB左右，取决于你的网络速度。下载完成后，模型就会加载到GPU上。

如果你的GPU显存不够24GB，可以用量化版模型。量化相当于给模型“瘦身”，牺牲一点点精度来换取更小的内存占用：

# 使用4位量化加载（显存需求减半） from transformers import BitsAndBytesConfig quantization_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16 ) model = AutoModelForCausalLM.from_pretrained( model_id, quantization_config=quantization_config, device_map="auto" )

这样即使在RTX 4090（24GB显存）上也能流畅运行。

4. 从医疗数据中提取知识

环境搭好了，模型也加载了，现在进入核心环节：怎么让MedGemma从医疗数据里提取知识。

为了演示，我准备了一份模拟的病例报告（基于公开数据脱敏处理），内容是关于一个糖尿病患者的就诊记录。我们的目标是：从这份报告里提取出疾病、症状、检查、药物这些实体，以及它们之间的关系。

4.1 准备输入数据

先看看我们的“原材料”——一份病历文本：

medical_text = """ 患者张某，男性，58岁，因“多饮、多尿、体重下降3个月”就诊。 既往有高血压病史5年，规律服用氨氯地平片，血压控制可。 查体：身高175cm，体重80kg，BMI 26.1kg/m²，血压145/90mmHg。 实验室检查：空腹血糖12.8mmol/L，糖化血红蛋白9.2%，尿糖(+++)。 腹部超声提示：轻度脂肪肝。 初步诊断：2型糖尿病。 治疗建议：1. 生活方式干预（饮食控制、运动锻炼）；2. 口服二甲双胍片，每次500mg，每日2次；3. 监测血糖，定期复查糖化血红蛋白。 """

这是一段很典型的门诊病历，包含了主诉、既往史、查体、检查结果、诊断和治疗方案。

4.2 设计提示词让模型提取信息

直接给模型看这段文字，它可能只会复述或者总结。我们需要用“提示词”告诉它具体要做什么。提示词就像给AI的指令，写得好不好，直接决定提取效果。

我们的目标是提取结构化的知识，所以提示词要明确要求输出JSON格式：

prompt = """ 请从以下病历文本中提取医疗实体和关系，并以JSON格式输出。 提取要求： 1. 识别以下类型的实体： - 疾病（如：糖尿病、高血压） - 症状（如：多饮、多尿） - 检查项目（如：空腹血糖、糖化血红蛋白） - 药物（如：氨氯地平、二甲双胍） - 检查结果（如：12.8mmol/L、9.2%） - 治疗方案（如：生活方式干预、口服药物） 2. 识别实体之间的关系： - 疾病-症状关系（例如：糖尿病-表现为-多饮） - 疾病-检查关系（例如：糖尿病-需要检查-空腹血糖） - 疾病-药物关系（例如：糖尿病-治疗方案包含-二甲双胍） - 药物-用法关系（例如：二甲双胍-用法为-每次500mg，每日2次） 病历文本： {text} 请输出JSON格式，包含两个字段： 1. "entities": 实体列表，每个实体包含"id"（编号）、"name"（名称）、"type"（类型） 2. "relations": 关系列表，每个关系包含"from"（起始实体id）、"to"（目标实体id）、"type"（关系类型） """.format(text=medical_text)

这个提示词有几个关键点：

• 明确了要提取的实体类型（疾病、症状、药物等）
• 定义了可能的关系类型
• 要求输出JSON格式，方便后续程序处理
• 给出了具体的输出结构

4.3 运行模型获取提取结果

现在把提示词和文本一起送给MedGemma：

# 将提示词转换为模型输入 inputs = processor(text=prompt, return_tensors="pt").to(model.device) # 生成输出（设置一些参数控制生成质量） with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=500, # 最多生成500个token temperature=0.1, # 低温度让输出更确定 do_sample=False # 不采样，用贪婪解码 ) # 解码输出 response = processor.decode(outputs[0], skip_special_tokens=True) # 提取模型返回的JSON部分（模型可能会在JSON前后加一些说明文字） import json import re # 用正则表达式找到JSON部分 json_match = re.search(r'\{.*\}', response, re.DOTALL) if json_match: json_str = json_match.group() try: extracted_data = json.loads(json_str) print("提取成功！") print(json.dumps(extracted_data, indent=2, ensure_ascii=False)) except json.JSONDecodeError as e: print("JSON解析失败:", e) print("原始响应:", response) else: print("未找到JSON格式输出") print("原始响应:", response)

运行这段代码，你会得到类似这样的输出：

{ "entities": [ {"id": 1, "name": "2型糖尿病", "type": "疾病"}, {"id": 2, "name": "高血压", "type": "疾病"}, {"id": 3, "name": "多饮", "type": "症状"}, {"id": 4, "name": "多尿", "type": "症状"}, {"id": 5, "name": "体重下降", "type": "症状"}, {"id": 6, "name": "氨氯地平", "type": "药物"}, {"id": 7, "name": "二甲双胍", "type": "药物"}, {"id": 8, "name": "空腹血糖", "type": "检查项目"}, {"id": 9, "name": "糖化血红蛋白", "type": "检查项目"}, {"id": 10, "name": "12.8mmol/L", "type": "检查结果"}, {"id": 11, "name": "9.2%", "type": "检查结果"}, {"id": 12, "name": "生活方式干预", "type": "治疗方案"} ], "relations": [ {"from": 1, "to": 3, "type": "表现为"}, {"from": 1, "to": 4, "type": "表现为"}, {"from": 1, "to": 5, "type": "表现为"}, {"from": 1, "to": 8, "type": "需要检查"}, {"from": 1, "to": 9, "type": "需要检查"}, {"from": 1, "to": 7, "type": "治疗方案包含"}, {"from": 1, "to": 12, "type": "治疗方案包含"}, {"from": 2, "to": 6, "type": "治疗方案包含"}, {"from": 7, "to": "每次500mg，每日2次", "type": "用法为"} ] }

看，原本一段自然的病历描述，现在被转化成了结构化的实体和关系列表。这就是知识图谱的“原材料”。

4.4 处理医学影像数据

刚才演示的是文本处理，但MedGemma的真正强项是多模态。假设我们还有这个患者的胸部X光片，想从中提取信息：

from PIL import Image import requests from io import BytesIO # 假设我们有一张胸部X光图片（这里用URL模拟，实际可能是本地文件） image_url = "https://example.com/chest_xray.jpg" # 替换为实际图片路径 response = requests.get(image_url) image = Image.open(BytesIO(response.content)) # 构建包含图像的提示词 image_prompt = """ 请分析这张胸部X光片，识别可能的异常发现，并与患者病历关联。 患者信息：58岁男性，新诊断2型糖尿病。 请输出JSON格式，包含： 1. "findings": 影像发现列表（如：肺纹理增粗、心脏增大等） 2. "associations": 与已知疾病的可能关联（如：糖尿病可能合并肺部感染） """ # 多模态输入（文本+图像） inputs = processor(text=image_prompt, images=image, return_tensors="pt").to(model.device) # 生成分析结果 with torch.no_grad(): outputs = model.generate(**inputs, max_new_tokens=300) analysis = processor.decode(outputs[0], skip_special_tokens=True) print("影像分析结果:", analysis)

这样，我们就能从影像中提取出“肺纹理增粗”这样的实体，并可以关联到“糖尿病合并肺部感染”这样的知识。

5. 构建和可视化知识图谱

有了提取出来的实体和关系，下一步就是构建真正的知识图谱。这里我用Python里比较常用的networkx和pyvis库来演示。

5.1 创建图谱结构

首先安装必要的库：

pip install networkx pyvis pandas

然后根据MedGemma提取的结果构建图谱：

import networkx as nx import pandas as pd from pyvis.network import Network # 假设extracted_data是上面MedGemma提取的结果 # 这里我们直接使用之前得到的示例数据 extracted_data = { "entities": [ {"id": 1, "name": "2型糖尿病", "type": "疾病"}, {"id": 2, "name": "高血压", "type": "疾病"}, # ... 其他实体 ], "relations": [ {"from": 1, "to": 3, "type": "表现为"}, # ... 其他关系 ] } # 创建空的知识图谱 knowledge_graph = nx.DiGraph() # 使用有向图 # 添加实体节点（根据类型设置不同颜色） type_colors = { "疾病": "#FF6B6B", "症状": "#4ECDC4", "药物": "#45B7D1", "检查项目": "#96CEB4", "检查结果": "#FFEAA7", "治疗方案": "#DDA0DD" } for entity in extracted_data["entities"]: knowledge_graph.add_node( entity["id"], label=entity["name"], title=f"{entity['type']}: {entity['name']}", color=type_colors.get(entity["type"], "#CCCCCC"), group=entity["type"] ) # 添加关系边 for relation in extracted_data["relations"]: knowledge_graph.add_edge( relation["from"], relation["to"], title=relation["type"], label=relation["type"] ) print(f"图谱构建完成！包含 {knowledge_graph.number_of_nodes()} 个实体和 {knowledge_graph.number_of_edges()} 条关系。")

5.2 可视化图谱

用pyvis生成交互式的网页可视化：

# 创建可视化网络 net = Network(height="750px", width="100%", bgcolor="#ffffff", font_color="black") # 从networkx图导入数据 net.from_nx(knowledge_graph) # 设置一些可视化参数 net.repulsion( node_distance=200, central_gravity=0.2, spring_length=200, spring_strength=0.05, damping=0.09 ) # 添加图例说明（手动添加一些说明节点） net.add_node("legend_disease", label="疾病", color="#FF6B6B", shape="box", size=10) net.add_node("legend_symptom", label="症状", color="#4ECDC4", shape="box", size=10) # ... 添加其他类型的图例 # 保存为HTML文件 net.save_graph("medical_knowledge_graph.html") print("知识图谱已保存为 medical_knowledge_graph.html，用浏览器打开查看。")

打开这个HTML文件，你会看到一个交互式的知识图谱。你可以拖动节点、放大缩小、点击节点查看详情。图谱中心通常是主要疾病（如“2型糖尿病”），周围连接着症状、检查、药物等相关实体。

5.3 图谱查询与应用

构建好的图谱可以支持各种查询。比如，我们想找和糖尿病相关的所有信息：

# 查询示例：找到所有与糖尿病相关的实体 diabetes_id = None for entity in extracted_data["entities"]: if "糖尿病" in entity["name"]: diabetes_id = entity["id"] break if diabetes_id: # 找到所有直接连接的节点 connected_nodes = list(knowledge_graph.neighbors(diabetes_id)) print(f"与'{knowledge_graph.nodes[diabetes_id]['label']}'直接相关的实体：") for node_id in connected_nodes: node_data = knowledge_graph.nodes[node_id] # 找到连接的关系类型 edge_data = knowledge_graph.get_edge_data(diabetes_id, node_id) relation_type = edge_data['label'] if edge_data else "未知关系" print(f" - {node_data['label']} ({node_data['group']}) | 关系: {relation_type}") # 还可以找间接关联（两度关系） print("\n间接相关的实体（两度关系内）：") for distance in [2]: paths = nx.single_source_shortest_path_length(knowledge_graph, diabetes_id, cutoff=distance) for node_id, dist in paths.items(): if dist == distance: # 距离为2的节点 node_data = knowledge_graph.nodes[node_id] print(f" - {node_data['label']} ({node_data['group']})")

这样的查询能力，可以支撑很多实际应用。比如在临床决策支持系统中，医生输入一个诊断，系统自动推荐相关的检查、药物、注意事项。

6. 实际应用场景与优化建议

通过上面的步骤，我们已经完成了一个简单的医疗知识图谱构建流程。但在实际应用中，还需要考虑更多因素。

6.1 批量处理与自动化

单个病例的处理演示了基本流程，真实场景下需要处理成千上万的病历。我们可以把整个过程封装成流水线：

import os from concurrent.futures import ThreadPoolExecutor class MedicalKGExtractor: def __init__(self, model, processor): self.model = model self.processor = processor def extract_from_text(self, text): """从单条文本提取知识""" prompt = self._build_extraction_prompt(text) inputs = self.processor(text=prompt, return_tensors="pt").to(self.model.device) with torch.no_grad(): outputs = self.model.generate(**inputs, max_new_tokens=500) response = self.processor.decode(outputs[0], skip_special_tokens=True) return self._parse_response(response) def batch_extract(self, text_list, max_workers=4): """批量提取""" with ThreadPoolExecutor(max_workers=max_workers) as executor: results = list(executor.map(self.extract_from_text, text_list)) return results def _build_extraction_prompt(self, text): """构建提示词模板""" # 这里可以设计更复杂的提示词 return f"""从以下病历提取医疗实体和关系，输出JSON格式：{text}""" def _parse_response(self, response): """解析模型响应""" # 提取JSON部分 import json import re json_match = re.search(r'\{.*\}', response, re.DOTALL) if json_match: return json.loads(json_match.group()) return None # 使用示例 extractor = MedicalKGExtractor(model, processor) # 批量处理病历文件 medical_records = [] # 假设这里有很多病历文本 batch_results = extractor.batch_extract(medical_records[:100]) # 先处理100条

6.2 处理复杂关系与推理

简单的实体关系提取只是第一步，真正的知识图谱还需要支持更复杂的推理。比如：

• 时序关系：糖尿病诊断 -> 开始服药 -> 血糖监测 -> 调整剂量
• 因果关系：高血糖 -> 导致 -> 多饮多尿
• 层级关系：2型糖尿病 -> 属于 -> 糖尿病 -> 属于 -> 代谢性疾病

MedGemma可以通过设计更复杂的提示词来提取这些关系：

complex_prompt = """ 分析以下治疗过程，提取时序关系和因果关系： 患者确诊2型糖尿病后： 1. 初始治疗方案：生活方式干预+二甲双胍500mg bid 2. 3个月后复查：空腹血糖8.5mmol/L，糖化血红蛋白8.0% 3. 调整方案：加用西格列汀100mg qd 4. 6个月后：空腹血糖6.2mmol/L，糖化血红蛋白6.5% 请提取： 1. 治疗阶段划分 2. 每个阶段的治疗方案 3. 治疗调整的原因（基于什么检查结果） 4. 治疗效果评估 """

6.3 与现有医疗系统集成

在实际医院环境中，知识图谱需要与现有的系统集成：

1. 与电子病历系统对接：实时分析新录入的病历，自动更新知识图谱
2. 与影像归档系统对接：分析新上传的影像，提取影像特征并关联临床信息
3. 与实验室系统对接：自动解析化验结果，更新患者状态
4. 提供API服务：为临床决策支持、患者教育、科研分析等应用提供数据接口

# 简化的API服务示例（使用FastAPI） from fastapi import FastAPI, HTTPException from pydantic import BaseModel app = FastAPI() class MedicalTextRequest(BaseModel): text: str extract_types: list = ["disease", "symptom", "drug"] @app.post("/extract") async def extract_knowledge(request: MedicalTextRequest): """API接口：从医疗文本提取知识""" try: result = extractor.extract_from_text(request.text) return { "success": True, "data": result, "timestamp": datetime.now().isoformat() } except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @app.get("/query") async def query_graph(entity_name: str, relation_type: str = None): """API接口：查询知识图谱""" # 实现图谱查询逻辑 pass

6.4 持续学习与更新

医疗知识是不断更新的，知识图谱也需要持续维护：

• 定期摄入新文献：用MedGemma分析最新的医学论文，更新疾病治疗方案、药物信息
• 增量更新机制：新数据进来后，只更新受影响的部分，而不是重建整个图谱
• 版本管理：记录知识图谱的版本变化，支持回溯和对比
• 质量评估：定期评估提取的准确性，优化提示词和流程

7. 总结

走完这一整套流程，你应该对用MedGemma 1.5构建医疗知识图谱有了比较清晰的认识。整个过程其实可以总结为三个关键步骤：首先是让模型理解医疗数据，从非结构化的文本和影像中提取结构化的信息；然后把这些信息组织成实体和关系的网络，构建成图谱；最后是基于这个图谱开发各种应用，比如智能问诊、临床决策支持。

MedGemma 1.5在这个过程中的价值，主要体现在它的专业性和多模态能力上。它不像通用模型那样只会说些笼统的话，而是真的能看懂医学影像、理解医学术语，这对于医疗这种专业领域至关重要。而且它的开源和可本地部署特性，让医院和研究机构能在保护数据隐私的前提下使用。

实际用下来，我感觉这套方案对于中小型医疗机构特别有吸引力。不需要组建庞大的AI团队，也不需要采购昂贵的商业软件，用开源的模型和工具，就能搭建起自己的知识图谱系统。当然，它也不是万能的，比如在处理特别专业的罕见病资料时，可能还需要进一步的微调；图谱的推理能力也还有提升空间。

但无论如何，这确实是一个可行的起点。如果你正在考虑在医疗领域应用AI，或者想构建自己的医疗知识库，不妨从一个小规模的试点开始。选一个具体的科室或病种，收集一些病历数据，按照本文的流程跑一遍。遇到问题就解决问题，效果不错再逐步扩大范围。

医疗AI的落地，需要的不是多么高大上的理论，而是这样一步步的实践。MedGemma 1.5降低了技术门槛，剩下的就看我们怎么用好它了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。