EHR数据补全实战：从缺失值处理到混合模型构建-平芜编程栈

简介：本资源面向备战2026年江西省研究生数学建模竞赛的参赛团队，聚焦赛题2——电子健康记录（EHR）数据补全这一典型高维稀疏数据建模问题，提供从解题思路、算法实现到论文撰写的全栈式解决方案。压缩包共117个文件（78.96MB），涵盖20个Python与14个MATLAB核心代码文件（含数据清洗、NMF/PAC降维、动态时间建模及启发式优化模块）、32个CSV中间与结果数据集、28张PNG可视化图表（如杭州/广州动态需求时序图、PCA得分预览等），以及14份Word格式特等奖标准论文（含摘要、模型假设、灵敏度分析等完整结构）和6份PDF辅助说明文档。已有101人学习下载，所有代码均带逐行中文注释并支持一键运行生成图表，论文排版严格对标官方规范，配套模板与转换工具可直接用于投稿；数据与结果表格已结构化整理，便于快速嵌入正文或附件，显著提升建模效率与学术表达力。

1. 从一道赛题看真实世界的数据困境

如果你正在准备研究生数学建模竞赛，尤其是像“电子健康记录数据补全”这类题目，那你大概率已经感受到了理论与现实之间的那道鸿沟。题目描述可能很简洁：给你一份充满缺失值的EHR数据集，要求你设计算法进行补全，并评估优化效果。但当你真正打开数据文件，看到那些星罗棋布的“NaN”或空白值时，才会意识到，这远不止是调用一个sklearn的SimpleImputer那么简单。这道题的核心，实际上是在考察你如何将一个经典的机器学习问题（缺失值处理），置于一个具有强领域约束（医疗健康）和复杂现实考量（数据隐私、时序性、多模态）的场景下进行求解。它考验的不仅是你的编程和建模能力，更是你定义问题、权衡取舍和设计解决方案的系统性思维。

我参与并指导过多次这类竞赛，发现许多队伍在初期最容易犯的错误，就是直接套用通用补全算法，而忽略了EHR数据独有的特性。比如，血压读数的缺失和用药记录的缺失，其背后的原因和补全的约束条件可能天差地别。前者可能是设备临时故障，后者可能意味着患者未遵医嘱或记录遗漏，这直接影响了你应该选择回归插值还是基于规则的推断。因此，完美的解析并非提供一个“万能代码包”，而是构建一套从数据理解、问题拆解、方法选型、到结果验证与优化的完整逻辑链条。本文将围绕2026年江西省研究生数学建模竞赛的这道赛题，分享一套可落地、可复现的解题框架、核心算法思路以及避坑指南，帮助你将看似庞杂的问题，分解为一个个可执行的步骤。

2. EHR数据补全问题的本质与挑战拆解

在动手写第一行代码之前，我们必须彻底厘清我们要解决的是什么问题。EHR数据补全，绝不仅仅是“填格子”。

2.1 EHR数据的典型特征与缺失机制

电子健康记录通常包含多种类型的数据，理解这些类型是选择补全方法的基础：

静态特征：如患者性别、出生日期、入院时间等。这类数据通常缺失率极低，但一旦缺失，往往无法从其他记录中推断，可能需要结合业务规则（如从身份证号推导）或视为不可补全。
动态时序特征：这是EHR的核心，也是补全的难点。包括：
- 生命体征：体温、心率、血压、血氧饱和度等，以固定或不固定间隔记录。其缺失可能由于未测量、设备故障或记录疏忽。这类数据具有较强的时间自相关性和生理相关性。
- 实验室检查结果：血常规、生化指标等。检查并非每日进行，缺失是常态，且不同检查项目之间的缺失模式可能高度相关（例如，同一次抽血会检测多个项目）。
- 用药与治疗记录：药物名称、剂量、给药途径、时间。缺失可能意味着未执行医嘱，补全时需要极其谨慎，错误的补全可能推导出错误的治疗结论。
文本记录：医生病程记录、护理记录、影像报告等。这类数据的“补全”更接近于生成或摘要，通常不在传统数值补全的范畴，但赛题有时会涉及。

缺失机制（Missing Mechanism）是统计学中的核心概念，决定了补全方法的有效性：

完全随机缺失（MCAR）：数据的缺失与其他任何观测值或缺失值本身无关。例如，因纸张损坏随机丢失了几页记录。这种情况下，删除缺失样本或简单均值插补不会引入偏差。
随机缺失（MAR）：数据的缺失与已观测到的数据有关，但与未观测到的数据本身无关。例如，年轻患者更可能缺失血脂数据（因为年轻群体通常不常规查血脂），但已知年龄后，缺失与血脂值高低无关。大多数高级建模方法（如多重插补）在此假设下有效。
非随机缺失（MNAR）：数据的缺失与未观测到的值本身有关。例如，病情危重的患者可能无法完成某些检查（如运动负荷试验），导致该检查结果的缺失与“病情危重”这一未完全观测的状态强相关。这是最棘手的情况，需要借助领域知识或更复杂的模型（如选择模型）来处理。

在竞赛中，我们通常没有足够信息严格判断缺失机制，但必须通过探索性数据分析（EDA）做出合理假设，并在论文中阐明。例如，检查某个特征的缺失是否与其他特征的值显著相关。

2.2 赛题评价指标与优化目标解析

“优化算法”中的“优化”指什么？题目通常会定义明确的评价指标，我们的算法需要朝着优化这些指标的方向努力。常见的指标包括：

补全精度：在人为掩蔽一部分已知数据后，用你的算法补全，计算补全值与真实值的差异。常用RMSE（均方根误差）、MAE（平均绝对误差）、分类任务下的F1-score等。
计算效率：处理大规模EHR数据（数十万患者，数百个特征）所需的时间和内存。算法是否可并行化？时间复杂度如何？
鲁棒性：算法对数据噪声、不同缺失率、异常值的耐受能力。
可解释性：尤其在医疗领域，补全结果是否具有医学合理性？能否提供补全的不确定性估计？

一个关键的实战心得：永远不要只追求单一指标的“最优”。在论文中，你需要展示权衡（Trade-off）。例如，一个复杂的深度学习模型（如GRU-D或Transformer）可能在RMSE上略胜一筹，但训练时间是以小时计，且可解释性差。而一个精心设计的基于k-NN或矩阵分解的混合模型，可能以90%的精度实现了95%的效果，但训练只需几分钟，且原理清晰。在竞赛有限的时间内，后一种方案往往更稳妥，也更容易在论文中讲好一个完整的故事。

3. 核心补全算法工具箱与选型策略

面对EHR数据，没有银弹算法。一个鲁棒的解决方案通常是多种方法的组合（Ensemble）。下面我将一个“工具箱”的思路来介绍核心方法，并说明其适用场景和注意事项。

3.1 基础与统计方法：快速基线

这些方法计算快，易于实现，常作为基线模型（Baseline），用于对比高级方法的提升效果。

均值/中位数/众数插补：对数值型特征用列均值或中位数填充，对分类型特征用众数填充。
- 为什么用：快速建立基准，处理MCAR缺失。中位数对异常值更鲁棒。
- 代码示例（Python Pandas）：
```
# 数值型列用中位数 df_numeric_filled = df.select_dtypes(include=[np.number]).fillna(df.median()) # 分类型列用众数 from scipy import stats df_categorical_filled = df.select_dtypes(exclude=[np.number]).apply(lambda x: x.fillna(stats.mode(x)[0][0]))
```
- 坑点：会严重扭曲数据分布，低估方差，破坏特征间的相关性。仅适用于缺失率极低（<5%）或作为基准。
时序插值：针对生命体征等时序数据，利用时间戳信息。
- 线性插值：df[‘heart_rate’].interpolate(method=‘linear’)。假设指标在时间区间内线性变化。
- 前向填充（FFill）/后向填充（BFill）：用前一个或后一个有效值填充。适用于指标相对稳定或采样密集的场景。
- 坑点：对于采样间隔不规则或指标突变（如用药后）的情况，线性插值可能产生不符合生理规律的值。需结合事件（如用药、手术）日志进行判断。

3.2 机器学习与矩阵补全方法：主流选择

这类方法利用数据内部的结构和相关性进行预测。

k-最近邻（k-NN）：对于有缺失值的样本，找到其在已观测特征上与它最相似的k个“完整”样本，用这些邻居的对应特征值的加权平均进行填充。
- 为什么用：直观，能捕捉局部相似性。对于EHR中“相似病情的患者有相似指标”的假设常常有效。
- 关键参数：k值（通过交叉验证选择）、距离度量（欧氏距离、马氏距离，后者能考虑特征相关性）。scikit-learn的KNNImputer可直接使用。
- 坑点：计算复杂度随样本量平方增长，大数据集下慢。对高维数据效果下降（维度灾难）。需要先对分类变量进行编码。
矩阵分解/协同过滤：将数据矩阵视为“患者×特征”矩阵，假设其由一个低秩矩阵近似，通过分解来补全缺失项。思想源于推荐系统。
- 为什么用：能有效挖掘全局潜在模式。适用于实验室检查等特征间存在潜在公共因子（如炎症因子、代谢综合征）的数据。
- 实现：可以使用fancyimpute库的IterativeSVD或SoftImpute，也可以自己用surprise库（推荐系统库）的思路来构建。
- 坑点：假设全局线性关系，可能无法捕捉复杂非线性模式。对异常值敏感。
多重插补（MICE - Multiple Imputation by Chained Equations）：目前学术界和业界在非深度学习领域的主流方法。它为每个缺失特征建立一个预测模型（如回归、决策树），并以迭代方式，用其他特征来预测并填充该特征。此过程重复多次，产生多个完整的数据集，最终结果取聚合。
- 为什么用：能处理MAR缺失，考虑了特征间的不确定性，提供更稳健的估计。Python中statsmodels或sklearn的IterativeImputer（模仿MICE）可用。
- 代码示例：
```
from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.ensemble import RandomForestRegressor # 使用随机森林作为每个特征的估计器 imputer = IterativeImputer(estimator=RandomForestRegressor(n_estimators=100), max_iter=10, random_state=0) df_imputed = imputer.fit_transform(df)
```
- 坑点：计算成本高，迭代次数和每轮的估计器选择需要调参。分类变量处理稍复杂。

3.3 深度学习方法：处理复杂时序与模式

当数据具有强时序依赖和复杂非线性关系时，深度学习方法能发挥优势。

RNN/LSTM/GRU及其变体：直接对时序序列建模。例如，用过去时刻的生命体征预测当前时刻的缺失值。
- 为什么用：天然适合时序数据，能捕捉长期依赖。
- 高级变种GRU-D：专门为EHR缺失数据设计，它引入了两个衰减机制：一是用指数衰减来模拟“距离上次观测的时间”对当前值的影响；二是用衰减后的最后观测值作为输入的一部分。这巧妙地建模了“观测值会随时间衰减其影响力”的医学直觉。
- 坑点：需要大量数据训练，容易过拟合。对缺失模式本身（何时缺失）也需要作为输入特征进行建模。
生成模型（VAE, GAN）：学习完整数据的分布，然后从分布中采样生成合理的值来填充缺失部分。
- 为什么用：能生成多样且符合数据分布的补全值，特别适用于高维、复杂分布的数据。
- 坑点：训练不稳定（尤其是GAN），难以调试，可解释性差。在竞赛有限时间和计算资源下风险较高。
图神经网络（GNN）：如果数据能构建成图（例如，患者为节点，共享诊断或药物为边），GNN可以利用图结构信息进行补全。
- 为什么用：能利用患者间的显式或隐式关系信息，超越简单的特征相似性。
- 坑点：图构建本身是一个需要论证的建模过程，增加了复杂度。

选型策略建议：对于大部分竞赛场景，一个**“MICE + 时序模型”的混合框架**是强大且可解释的。先用MICE（以树模型为基学习器）处理非时序特征和跨特征的缺失，再针对关键时序特征（如血压、心率）设计专门的LSTM或GRU-D模型进行精细插值。在论文中，你需要对比单一方法和混合方法的性能，以证明你方案的有效性。

4. 从思路到代码：一个完整的实战Pipeline

这里我给出一个结构清晰、可扩展的代码框架，你可以在此基础上填充具体的算法实现。

4.1 数据预处理与探索性分析模块

这是所有工作的基石，至少花费你30%的时间。

import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.preprocessing import StandardScaler, LabelEncoder class EHRDataPreprocessor: def __init__(self, data_path): self.df = pd.read_csv(data_path, parse_dates=['记录时间']) # 假设有时间列 self.numeric_cols = None self.categorical_cols = None def basic_info(self): print(f"数据集形状: {self.df.shape}") print("\n前5行数据:") print(self.df.head()) print("\n数据类型和缺失情况:") print(self.df.info()) print("\n描述性统计:") print(self.df.describe(include='all')) def analyze_missingness(self): # 计算总缺失率和每列缺失率 total_missing = self.df.isnull().sum().sum() total_cells = np.product(self.df.shape) print(f"总缺失率: {total_missing/total_cells:.2%}") missing_series = self.df.isnull().sum() / len(self.df) missing_series = missing_series[missing_series > 0].sort_values(ascending=False) print("\n各特征缺失率（>0的）:") print(missing_series) # 可视化缺失矩阵 plt.figure(figsize=(12, 6)) sns.heatmap(self.df.isnull(), cbar=False, yticklabels=False, cmap='viridis') plt.title('缺失数据热图') plt.show() # 分析缺失模式是否与其他特征相关（以‘年龄’为例） if '年龄' in self.df.columns: df_temp = self.df.copy() df_temp['目标特征_缺失'] = df_temp['某个高缺失特征'].isnull() # 替换为你的特征 # 可以分组计算年龄的统计量，看缺失组与非缺失组是否有显著差异 print(df_temp.groupby('目标特征_缺失')['年龄'].describe()) def separate_column_types(self): self.numeric_cols = self.df.select_dtypes(include=[np.number]).columns.tolist() self.categorical_cols = self.df.select_dtypes(include=['object', 'category']).columns.tolist() print(f"数值型特征: {self.numeric_cols}") print(f"分类型特征: {self.categorical_cols}") def handle_categorical(self, method='label'): """处理分类变量：标签编码或独热编码""" df_processed = self.df.copy() for col in self.categorical_cols: if method == 'label': le = LabelEncoder() df_processed[col] = le.fit_transform(df_processed[col].astype(str)) elif method == 'onehot': df_processed = pd.get_dummies(df_processed, columns=[col], prefix=col, dummy_na=True) # dummy_na将缺失也作为一类 return df_processed # 使用示例 preprocessor = EHRDataPreprocessor('ehr_data.csv') preprocessor.basic_info() preprocessor.analyze_missingness() preprocessor.separate_column_types() df_encoded = preprocessor.handle_categorical(method='label')

4.2 混合补全算法实现示例

假设我们决定采用“MICE处理全局特征 + LSTM处理核心时序特征”的混合策略。

import torch import torch.nn as nn from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer from sklearn.ensemble import RandomForestRegressor, RandomForestClassifier from sklearn.model_selection import train_test_split class HybridEHRImputer: def __init__(self, temporal_cols, static_cols): """ temporal_cols: 需要用时序模型处理的列名列表，如 ['心率', '收缩压', '舒张压'] static_cols: 其他静态或非核心时序列，用MICE处理 """ self.temporal_cols = temporal_cols self.static_cols = static_cols self.mice_imputer = None self.lstm_models = {} # 为每个时序特征训练一个LSTM模型 def fit(self, df, patient_id_col='患者ID', time_col='记录时间'): # 步骤1: 用MICE填充静态和非核心列 print("步骤1: 训练MICE插补器处理静态和非核心特征...") self.mice_imputer = IterativeImputer( estimator=RandomForestRegressor(n_estimators=50, random_state=42), max_iter=20, random_state=42 ) # 注意：需要先处理分类变量为数值 df_static_imputed = self.mice_imputer.fit_transform(df[self.static_cols]) df[self.static_cols] = df_static_imputed # 步骤2: 为每个患者整理时序数据，训练LSTM print("步骤2: 为每个核心时序特征训练LSTM模型...") df_sorted = df.sort_values(by=[patient_id_col, time_col]) for col in self.temporal_cols: print(f" 正在训练LSTM for {col}...") # 这里需要将每个患者的时序序列提取出来，构建监督学习数据集 (X: 过去N个时间点, y: 当前时间点) # 由于篇幅，此处省略详细的序列构建和数据整理代码，这是一个关键且繁琐的步骤 # 假设我们已经构建好了 X_train, y_train, X_val, y_val # model = LSTMPredictor(input_dim=...) # train_model(model, X_train, y_train, X_val, y_val) # self.lstm_models[col] = model pass # 实际实现时需要填充 def transform(self, df): # 先用训练好的MICE模型转换 df[self.static_cols] = self.mice_imputer.transform(df[self.static_cols]) # 再用训练好的LSTM模型逐个预测时序特征的缺失值 for col, model in self.lstm_models.items(): # 识别该列的缺失位置 missing_mask = df[col].isnull() if missing_mask.any(): # 提取缺失点对应的时序序列，用模型预测 # predicted_values = model.predict(sequences_for_missing_points) # df.loc[missing_mask, col] = predicted_values pass # 实际实现时需要填充 return df # 一个简化的LSTM模型定义 class LSTMPredictor(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim=1, num_layers=2): super(LSTMPredictor, self).__init__() self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers, batch_first=True, dropout=0.2) self.fc = nn.Linear(hidden_dim, output_dim) def forward(self, x): # x shape: (batch_size, seq_len, input_dim) lstm_out, _ = self.lstm(x) # 我们取最后一个时间点的输出 last_time_step_out = lstm_out[:, -1, :] output = self.fc(last_time_step_out) return output

4.3 评估与验证模块

补全效果如何，需要用数据说话。务必设计严谨的评估流程。

from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score import numpy as np class ImputationEvaluator: @staticmethod def create_missing_mask(df, missing_rate=0.1, random_state=42): """人工制造缺失掩码，用于模拟评估""" np.random.seed(random_state) mask = np.random.rand(*df.shape) < missing_rate # 确保不是整行或整列全缺失 return mask @staticmethod def evaluate(original_df, imputed_df, mask): """ 在人为制造的缺失位置上，对比补全值与真实值 original_df: 原始完整数据（或已知部分） imputed_df: 补全后的数据 mask: 布尔矩阵，True表示该位置是人为制造缺失用于评估的 """ # 只评估在mask为True的位置 original_values = original_df.values[mask] imputed_values = imputed_df.values[mask] mse = mean_squared_error(original_values, imputed_values) rmse = np.sqrt(mse) mae = mean_absolute_error(original_values, imputed_values) r2 = r2_score(original_values, imputed_values) metrics = { 'RMSE': rmse, 'MAE': mae, 'R2': r2 } return metrics @staticmethod def visualize_comparison(original_series, imputed_series, mask_series, feature_name): """可视化某个特征补全前后的对比""" plt.figure(figsize=(15, 5)) time_index = range(len(original_series)) # 绘制原始完整数据线 plt.plot(time_index, original_series, 'b-', label='真实值', alpha=0.7, linewidth=2) # 绘制补全数据点，在缺失位置用红色点标出 imputed_points = imputed_series[mask_series] time_points = np.array(time_index)[mask_series] plt.scatter(time_points, imputed_points, c='red', s=50, label='补全值', zorder=5) plt.xlabel('时间/样本索引') plt.ylabel(feature_name) plt.title(f'{feature_name} 补全效果对比') plt.legend() plt.grid(True, alpha=0.3) plt.show() # 使用示例 # 1. 假设 df_original 是原始数据（有缺失） # 2. 我们先人工“藏起”一部分已知数据 # evaluation_mask = ImputationEvaluator.create_missing_mask(df_original.fillna(0), missing_rate=0.1) # 用0填充原缺失避免干扰 # df_for_test = df_original.copy() # df_for_test.values[evaluation_mask] = np.nan # 制造新的缺失 # 3. 用你的补全算法填充 df_for_test -> df_imputed_test # 4. 评估 # metrics = ImputationEvaluator.evaluate(df_original, df_imputed_test, evaluation_mask) # print("评估指标:", metrics)

5. 论文写作与结果呈现的关键技巧

数学建模竞赛，三分靠做，七分靠写。一个清晰的论文结构能极大提升你的成绩。

5.1 论文核心章节结构建议

问题重述与分析：不要照抄题目。用你自己的话阐述EHR数据补全的背景、挑战（从数据特性、缺失机制、医学约束角度），并明确你的优化目标（精度、效率、鲁棒性等）。
模型假设与符号说明：列出你的关键假设（如“假设实验室检查结果的缺失为随机缺失(MAR)”），并定义全文使用的数学符号。这体现了严谨性。
数据预处理与探索性分析：展示你对数据的理解。包括缺失率统计图表、特征分布、相关性热图。这里可以放那个缺失矩阵热图，非常直观。
模型构建：这是核心。
- 总体框架图：画一个流程图，说明你的混合模型是如何工作的（MICE和LSTM如何分工协作）。
- 分模块阐述：详细介绍MICE部分（为何选随机森林作为估计器，迭代次数设置）、LSTM部分（网络结构、输入输出、如何处理时间间隔）。
- 优化目标函数：将你的补全问题形式化为一个数学优化问题（例如，最小化重构误差与时间平滑性约束之和）。
求解算法与实现：说明你如何求解上述模型（如使用Adam优化器训练LSTM），并给出关键代码片段（如算法伪代码或核心代码）。注明使用的软件、库及版本。
实验结果与分析：
- 评估方案：详细说明你是如何划分训练/验证/测试集，如何制造人工缺失进行模拟评估的。
- 对比实验：设置多个基线模型（如均值插补、KNN、单一MICE、单一LSTM），与你的混合模型对比。使用表格清晰呈现RMSE、MAE、R²、运行时间等指标。
- 消融实验：证明你模型每个部分的有效性。例如，去掉LSTM只用MICE会怎样？去掉MICE只用LSTM会怎样？
- 可视化：挑选一两个关键特征（如“收缩压”），绘制补全前后对比曲线图（就像上面visualize_comparison生成的图）。一图胜千言。
模型评价与推广：讨论你模型的优点（混合策略效果好）、缺点（计算复杂度、对超参数敏感）、以及可能的改进方向（引入图神经网络、考虑更多医学先验知识）。说明模型在哪些类似的EHR场景下可以推广。

5.2 结果数据与资源组织

题目要求提供“结果数据”，这意味着你需要提交一份清晰、整洁的补全后数据集。建议：

保存为CSV或Excel文件，命名规范，如Imputed_EHR_Data_TeamXXX.csv。
在文件中或单独的README中说明每一列的含义、单位。

如果生成了多套结果（例如，不同参数下的），建立清晰的文件夹结构：

/Final_Results ├── /Best_Model_Imputed_Data.csv ├── /Comparison_Results.xlsx (包含各模型指标对比的表格) ├── /Visualizations/ (存放生成的关键图表) └── /README.txt (说明文件结构和使用方法)

最后的个人体会：解决这类问题，最大的陷阱是一头扎进复杂的模型里，却忽略了最基本的数据观察和问题定义。我曾见过有队伍用了很高级的GAN，但因为没有处理好分类变量编码，导致结果完全失真。我的建议是，从简到繁，逐步迭代。先实现一个简单的KNN或MICE基线，确保整个数据加载、预处理、评估的pipeline是通的。然后，再针对性地引入更复杂的时序模型去提升关键指标的性能。在论文写作时，时刻问自己：我这样做的理由是什么？这个选择带来了什么好处，付出了什么代价？把这种权衡思考写进论文，才是获得高分的关键。记住，评委想看的是一个严谨、完整、有思考的解题过程，而不仅仅是一个冰冷的最高精度数字。

本文还有配套的精品资源，点击获取