从数据预处理到模型可解释性：数学建模竞赛中机器学习实战全解析

1. 项目概述：一次完整的数模竞赛实战复盘

又到了一年一度的研究生数学建模竞赛（研赛）开题日，对于所有参赛队伍来说，从拿到赛题到提交论文的这四天，是一场对知识储备、团队协作和临场应变能力的极限考验。今天，我想以去年（2023年）研赛E题为蓝本，进行一次深度的、完整的复盘。这不仅仅是一份“思路+模型+代码”的简单罗列，我更想分享的是，作为一个经历过多次竞赛的“老手”，在面对一个具体赛题时，我们团队是如何一步步拆解问题、构建模型、编写代码并最终成文的。整个过程充满了决策、试错和优化，希望这份详尽的“作战记录”能为你提供超越标准答案的实战经验。

2023年研赛E题的具体题目是“出血性脑卒中临床智能诊疗建模”。这是一个典型的交叉学科问题，融合了医学、统计学和机器学习。题目提供了真实的临床数据，要求参赛者构建模型，对患者进行分型、预测预后并推荐治疗方案。这直接击中了当前智慧医疗的研究热点，也意味着它不是一个有标准解的“数学题”，而是一个开放性的、需要综合评判的“工程+研究”问题。无论你是正在备赛的同学，还是对数据建模感兴趣的研究者，相信这篇复盘都能让你看到，一个复杂的现实问题是如何被层层剥开，并最终用数学和代码语言进行描述的。

2. 核心需求解析与破题思路

2.1 题目究竟在问什么？——需求的三层拆解

拿到题目后，切忌直接扎进数据或文献里。第一步，也是最重要的一步，是精确解构题目要求。我们团队花了近两个小时，逐字逐句分析E题的所有子问题，将其归纳为三个层次的核心需求：

1. 数据理解与预处理需求：题目提供了包括患者人口学信息、入院检查、影像学报告、治疗记录和随访结果在内的多源异构数据。首要需求是理解每个字段的医学含义（例如，NIHSS评分代表神经功能缺损程度，分值越高越严重），处理缺失值、异常值，并将文本型报告（如CT描述）转化为模型可用的数值特征。这一步是后续所有工作的基石，数据质量直接决定模型天花板。

2. 模型构建与验证需求：这是题目的核心。具体可细分为：

   • 分型需求：基于患者入院初期的数据，将其划分为具有不同临床特征的亚型。这本质上是一个无监督学习或聚类分析问题。
   • 预测需求：预测患者发病后90天时的功能预后（通常用mRS评分衡量，0-6分，分数越高预后越差）。这是一个有监督学习的分类或回归问题（视将mRS作为分类标签还是有序数值）。
   • 归因与推荐需求：不仅要预测，还要解释“为什么”，并基于预测结果为不同亚型患者推荐个性化的治疗方案。这涉及到可解释性机器学习（XAI）和决策优化。

3. 结果呈现与逻辑自洽需求：竞赛最终提交的是论文，模型结果需要以清晰、美观的图表呈现，并且整个建模过程的逻辑链条必须完整、自洽。从问题分析、假设提出、模型选择、求解到结果讨论，要形成一个闭环。

2.2 我们的破题总纲：一个“分治-集成”的框架

面对多层次需求，我们采用了“分治-集成”的策略。不追求一个“万能模型”解决所有问题，而是针对每个子问题构建相对独立的模型，最后在临床逻辑的层面上进行集成和解释。

整体技术路线图如下：

1. 数据层：进行彻底的探索性数据分析（EDA），并设计针对医学数据的预处理流水线（Pipeline）。
2. 模型层：
   • 分型：采用聚类算法（如K-Means、GMM高斯混合模型、或基于深度学习的自编码器聚类），并利用领域知识（如病因、出血部位）对聚类结果进行临床意义解读。
   • 预测：采用树模型（如XGBoost、LightGBM）或集成模型作为基线，因其对表格数据效果好且具备一定可解释性。同时尝试深度学习模型（如MLP、TabNet）作为对比。
   • 归因：使用SHAP（SHapley Additive exPlanations）值分析特征对预测结果的重要性，为治疗方案推荐提供依据。
3. 应用层：结合分型结果和预测模型的归因分析，为每个患者亚组总结出高风险特征和潜在的治疗敏感点，形成诊疗建议的逻辑框架。

注意：这个框架不是唯一的，但它结构清晰，易于分工协作。数据预处理和特征工程可以由一位同学主要负责，分型和预测模型可以并行开展，最后由所有成员一起进行结果整合和论文写作。

3. 数据预处理：脏数据清洗与特征工程实战

3.1 探索性数据分析（EDA）发现了什么？

我们首先用Pandas和Matplotlib/Seaborn对数据进行了全面扫描，发现了几个关键问题，这也是医学数据的典型特点：

• 高缺失率：部分实验室检查指标缺失严重，有些字段缺失率高达40%。简单删除会导致样本量锐减。
• 分布偏态：许多临床指标（如白细胞计数）不服从正态分布，存在大量极端值（可能是真实病理状态，也可能是记录错误）。
• 多模态与文本数据：影像学报告是文本，如“左侧基底节区见片状高密度影”。治疗信息是分类变量（如是否手术、手术类型）。
• 时间序列特性：部分指标有多次测量记录（如入院时、术后24小时），构成了简单的时间序列。

3.2 我们的预处理流水线设计

针对上述问题，我们没有采用一刀切的方法，而是设计了分步骤的流水线：

1. 缺失值处理策略：

   • 对于缺失率<10%的数值特征：采用中位数填充（因其对异常值不敏感）。
   • 对于缺失率>10%的数值特征：考虑使用KNN或随机森林回归进行插补，或者将该特征是否缺失作为一个新的二值特征（IsMissing_FeatureX），这本身可能具有预测意义。
   • 对于分类特征：用“未知”作为一个新的类别进行填充。

2. 异常值处理：我们非常谨慎。首先基于医学常识划定合理范围（例如，成人收缩压一般不会低于70mmHg或高于250mmHg），对于超出常识范围的，视为错误数据，用上下限值截断或按缺失值处理。对于范围内的极端值，我们保留，因为它们可能对应重症患者。

3. 特征工程——从数据到信息：这是提升模型性能的关键。

   • 文本特征提取：从CT报告中提取关键词，如“出血部位”（基底节、丘脑、脑叶等）、“出血量”（通过描述词估算大、中、小）、“是否破入脑室”，将其转化为one-hot编码。
   • 交互特征：创建一些有临床意义的组合特征，如“年龄×NIHSS评分”（综合反映老年重症风险）、“血压×心率”。
   • 时间特征：对于有多次测量的指标，计算其变化率，如“NIHSS评分下降率”，这往往比单点值更有预测价值。
   • 降维：对于高度相关的实验室指标，使用PCA（主成分分析）进行降维，生成几个综合的“生理状态”成分。

实操心得：特征工程的时间可能占整个项目开发的60%以上。我们一边构建特征，一边用简单的逻辑回归或决策树快速验证该特征对目标变量的预测能力（通过特征重要性或系数大小）。避免制造大量无效特征，导致“维度灾难”。

4. 模型构建：从分型到预测的算法选型与实现

4.1 患者亚型分析：聚类算法的选择与调优

我们尝试了多种聚类方法，并基于轮廓系数（Silhouette Score）和临床可解释性进行综合评估。

1. K-Means：速度快，结果直观。但需要预先指定K（类别数），且对异常值和非球形簇敏感。我们通过手肘法和轮廓系数确定K值范围在3-5之间。
2. 高斯混合模型（GMM）：假设数据由多个高斯分布生成，能给出样本属于各簇的概率（软聚类），更灵活。我们最终选择了GMM，因为它的概率输出可以与后续预测模型更好地结合。
3. 层次聚类：可以生成树状图，便于观察不同粒度下的分簇情况，辅助确定K值。

实现步骤与核心代码片段：

import pandas as pd from sklearn.mixture import GaussianMixture from sklearn.preprocessing import StandardScaler import matplotlib.pyplot as plt # 假设 df_features 是经过预处理和特征工程后的DataFrame features_for_clustering = df_features[['age', 'NIHSS_score', '出血量_编码', '血糖', ...]] # 标准化 scaler = StandardScaler() features_scaled = scaler.fit_transform(features_for_clustering) # 寻找最佳聚类数 n_components_range = range(2, 8) aic_scores = [] bic_scores = [] for n_components in n_components_range: gmm = GaussianMixture(n_components=n_components, random_state=42) gmm.fit(features_scaled) aic_scores.append(gmm.aic(features_scaled)) bic_scores.append(gmm.bic(features_scaled)) # 绘制AIC/BIC曲线，选择下降拐点 plt.plot(n_components_range, aic_scores, label='AIC') plt.plot(n_components_range, bic_scores, label='BIC') plt.legend() plt.xlabel('Number of Components') plt.show() # 根据曲线选择 n_components=4 best_gmm = GaussianMixture(n_components=4, random_state=42) cluster_labels = best_gmm.fit_predict(features_scaled) df_features['cluster'] = cluster_labels # 分析每个簇的临床特征 cluster_profile = df_features.groupby('cluster').mean() print(cluster_profile)

结果解读：我们得到了4个亚型。例如，Cluster 0可能表现为“年轻、轻度神经缺损、小量出血”，预后良好；Cluster 1可能是“高龄、重度神经缺损、大量出血并破入脑室”，预后极差。这为后续个性化预测和推荐奠定了基础。

4.2 预后预测模型：树模型与深度学习的对决

我们将问题定义为有序多分类（mRS 0-6）。评估指标采用加权Kappa系数和分类准确率，更注重有序性。

1. 基线模型：LightGBMLightGBM因其高效、准确和支持分类任务成为我们的首选。关键步骤包括：

   • 标签编码：将mRS作为整数标签，并设置objective='multiclass'或'multiclassova'。
   • 类别不平衡处理：设置class_weight='balanced'或手动调整权重。
   • 特征重要性：训练后可直接输出特征重要性，进行初步归因分析。

2. 对比模型：TabNetTabNet是专门为表格数据设计的深度学习模型，兼具高性能和可解释性。我们使用Pytorch版本的TabNet实现。

   import torch from pytorch_tabnet.tab_model import TabNetClassifier # 准备数据 X_train, X_val, y_train, y_val = train_test_split(features, labels, test_size=0.2, random_state=42) # 定义模型 clf = TabNetClassifier( n_d=64, n_a=64, n_steps=5, gamma=1.5, n_independent=2, n_shared=2, optimizer_fn=torch.optim.Adam, optimizer_params=dict(lr=2e-2), scheduler_params={"step_size":50, "gamma":0.9}, verbose=1 ) # 训练 clf.fit( X_train=X_train, y_train=y_train, eval_set=[(X_train, y_train), (X_val, y_val)], max_epochs=100, patience=20 )

   TabNet能提供两种可解释性：特征重要性和每个决策步骤中特征的贡献度，这与我们的归因需求高度契合。

3. 模型集成： 我们尝试了将LightGBM和TabNet的预测概率进行加权平均（软投票），在验证集上比单一模型有轻微提升（约1-2%的Kappa系数）。

注意事项：深度学习模型对数据量、超参数调优和训练技巧要求更高。在有限时间和计算资源下，树模型往往是更稳妥、性价比更高的选择。我们的策略是先用LightGBM跑出基线结果，确保有保底输出，再用TabNet进行突破尝试。

5. 可解释性与诊疗推荐：让模型“说人话”

5.1 基于SHAP的全局与局部解释

我们使用SHAP库来解释LightGBM模型。

• 全局解释：通过SHAP摘要图，可以看到所有特征对模型输出的平均影响。我们发现“入院NIHSS评分”、“年龄”、“意识水平”和“出血量”是影响预后的最关键因素，这与临床认知一致。
• 局部解释：对于单个患者的预测，我们可以绘制SHAP力力图。例如，对于一个预测预后不良（mRS=5）的患者，图显示高NIHSS评分和低GCS评分是主要“推高”其风险分数的因素。

import shap # 创建解释器 explainer = shap.TreeExplainer(lgbm_model) shap_values = explainer.shap_values(X_val) # 全局摘要图 shap.summary_plot(shap_values, X_val, plot_type="bar") shap.summary_plot(shap_values, X_val) # 单个样本解释 sample_idx = 0 shap.force_plot(explainer.expected_value[1], shap_values[1][sample_idx, :], X_val.iloc[sample_idx, :])

5.2 从解释到推荐：构建诊疗建议逻辑框架

模型解释本身不是终点，如何将其转化为临床建议才是难点。我们的方法是：

1. 亚组分析：针对之前聚类得到的每个患者亚型，分别计算其SHAP特征重要性。例如，对于“高龄大量出血”亚型，可能“血压控制情况”和“并发症预防”的特征重要性更高；而对于“年轻小量出血”亚型，“早期康复介入”的重要性可能更突出。
2. 归因规则提炼：结合SHAP局部解释和临床指南，我们尝试提炼一些“如果-那么”规则（尽管不是严格的规则模型）。例如：“如果患者属于Cluster 1（重症），且SHAP分析显示其‘入院至手术时间’对预后有强负向影响，那么对于该亚型患者，模型隐含的建议是优先考虑缩短手术准备时间。”
3. 推荐呈现：在论文中，我们以表格形式呈现了不同亚型的“关键风险特征”和“潜在干预焦点”。这并非模型直接输出的“处方”，而是基于模型解读的、供临床医生参考的决策支持信息。

6. 竞赛实战中的常见“坑”与应对策略

6.1 数据处理与模型调优陷阱

• 数据泄露（Data Leakage）：这是最致命的错误。例如，在填充缺失值时，如果使用了整个数据集（包括测试集）的统计量（如均值），信息就从“未来”泄露到了训练过程。必须在划分训练集和验证集/测试集之后，仅用训练集的数据来拟合预处理器（如填充器、标准化器），再应用到验证/测试集。
• 过度依赖自动化调参：GridSearchCV或Optuna等工具很好用，但盲目搜索耗时且可能过拟合验证集。我们的策略是：先进行广泛的粗调（大范围），根据结果进行人工分析，缩小参数范围后再进行精细搜索。同时，始终关注训练集和验证集性能的差距，判断过拟合还是欠拟合。
• 忽略随机种子：未设置random_state会导致结果无法复现。从数据划分、到模型初始化、再到任何有随机性的操作，都必须固定种子，确保过程可重复。

6.2 论文写作与时间管理心得

• “模型罗列”而非“问题驱动”：论文最容易犯的错误是花大量篇幅介绍各种模型原理，却弱化了如何用这些模型解决题目中的具体问题。我们的每一章节都紧扣题目要求：第一部分写“针对问题一的分型需求，我们采用了…因为…”。模型只是工具，解决问题才是目的。
• 图表表达不清：复杂的模型结果需要用清晰的图表呈现。比如，聚类结果可以用雷达图展示各簇特征均值；SHAP图需要精心标注。所有图表必须有自解释的标题和清晰的图例。
• 时间分配失衡：很多人把90%时间花在调模型上，最后只剩几个小时写论文，导致逻辑混乱、排版粗糙。我们严格执行时间表：第一天：彻底读题、EDA、确定基线方案。第二天：完成核心模型构建与初步验证。第三天：模型优化、可解释性分析、绘制核心图表。第四天：全天用于论文写作、整合、润色和检查。编码和写作尽量并行。

6.3 团队协作要点

• 版本控制（Git）是生命线：所有代码、论文草稿都必须用Git管理。避免“final_final_v2_真的最后版.docx”的悲剧。每天开始工作前先pull，结束前commit并push。
• 明确分工与每日站会：一人主攻数据预处理和特征工程，一人主攻模型实验与调优，一人负责论文主笔和图表制作。但分工不分家，每天早中晚三次简短同步进度、问题和下一步计划。
• 保留所有实验记录：用一个简单的表格或文档记录每一次实验的配置、参数和结果（验证集指标）。这能避免重复劳动，并在分析模型行为时提供宝贵线索。

最后想说的是，数学建模竞赛的魅力不在于找到那个“标准答案”，而在于体验一个从现实问题抽象到数学模型，再通过计算和解释反馈回现实理解的完整科研闭环。2023年E题给我们最大的启示是，在数据科学和AI应用于像医疗这样的严肃领域时，模型的可解释性和决策的辅助性，其重要性丝毫不亚于预测精度本身。希望这份超详细的复盘，能帮你不仅学到一些技术和代码，更能理解背后的问题解决思维框架。在接下来的比赛中，祝你也能享受这个充满挑战和创造的过程。