FRAME：区分抽样变异与表征性原因的医学影像AI公平性评估方法-平芜编程栈

在医学影像 AI 的模型评估报告里，我们经常看到“模型在某个亚组上表现较差”“模型存在公平性偏差”之类的结论。这些结论本身没有错，但很少有人追问一个前置问题：你观察到的差异，到底是模型在表征层面真的出了问题，还是仅仅因为这一批测试样本不够多、不够有代表性，随机波动带来的假象？

这个问题的严重性，往往被低估。稍微做过几次交叉验证、换过几次测试集就会发现：同一个训练好的模型，在不同随机种子、不同采样批次下测出来的公平性指标，可能差别非常大。如果团队直接把某一次评测结果的差异当成“算法歧视”来定位，轻则浪费数周排查时间，重则基于错误结论修改模型结构、调整训练策略，甚至做出错误的合规判断。

FRAME 要解决的，正是这个“评估结果可真可假”的问题。它的核心目标，是把公平性评估里的抽样变异（sampling variation）和表征性原因（representational cause）分离开。从方法论层面看，它不是在教你怎么修模型，而是在教你怎么科学地判断“模型到底有没有问题”。这篇文章会围绕 FRAME 方法展开，先说清楚它在解决什么，再从概念、流程、代码和工程落地四个层面把它讲透。

如果你正在做医学影像 AI 相关的模型评估、公平性审计，或者准备在论文和项目报告里给出更严谨的公平性结论，这篇文章值得认真读完。

1. 这篇文章真正要解决的问题

医学影像 AI 的公平性评估，和普通机器学习模型的经验评估有一个显著区别：医学影像场景里，我们拿到的通常是真实临床数据，亚组分布天然不平衡。比如某个数据集中，女性患者占比 60%，男性患者占比 40%；某个年龄段样本很少，某个设备厂商的数据只占 5%。这种不平衡会造成一个非常尴尬的情况——你很难判断某个亚组指标差，是模型确实没学好，还是仅仅因为该组样本太少，评估波动太大。

举个例子。假设一个肺结节检测模型，在女性患者上的 AUC 是 0.92，在男性患者上是 0.90。直觉上，模型对女性更友好。但如果男性患者的测试样本只有 80 例，而女性患者有 1200 例，那么这 0.02 的 AUC 差异，很可能只是随机波动。把同样的测试流程用不同随机种子重跑几遍，差异可能就在 -0.01 到 0.04 之间来回跳。这种情况下，说“模型偏向女性”就没有统计依据。

传统评估方式的误区在于，很多团队直接把“一次划分测试集上的公平性指标差异”当成了模型的最终属性。这个做法忽略了两个层面：第一，测试集是一次随机采样，指标本身有置信区间；第二，不同群体之间的性能差异，既有抽样层面的随机解释，也有模型表征层面的结构性解释。如果没有把这两类来源分开，后续所有基于该指标的决策都可能被带偏。

FRAME 的价值正在于此。它名义上是一个“公平性评估框架”，实质上是在给医学影像模型的公平性审计补上一套统计推断机制。它能帮助你回答几个非常具体的问题：

当前观测到的公平性差异，在统计上是否显著？
这个差异的波动范围有多大？单次评估的数值有多大参考价值？
差异是否可以归因到模型内部表征，还是说换一批样本可能就消失了？
需要多少样本量，才能对某个亚组的公平性结论有足够信心？

这篇文章不是要复现 FRAME 论文里的全部数学推导，也不会假装跑过原版的完整实验。更合理的定位是：把它当作一套方法论来分析，结合医学影像公平性评估的通用流程，给出可理解的概念拆解、可操作的流程设计和可运行的模拟代码。读完你应该能做到两件事：看懂 FRAME 在方法上的创新点；在自己的公平性评估流程里，加入至少一层抽样变异分析，避免再做“一次评测定结论”的冒险操作。

2. FRAME 的两个核心概念：抽样变异与表征性原因

2.1 抽样变异：评估指标的“随机噪声层”

抽样变异，指的是因为样本选择、数据划分、随机训练过程等因素，导致同一模型在多次评估中呈现的指标波动。

它不反映模型“真实能力”的差异，只反映评估过程的不确定性。凡是使用有限样本做统计推断的场景，都存在抽样变异。机器学习里的交叉验证、bootstrap 置信区间、多次重复实验取均值，本质上都是在应对抽样变异。

在公平性评估里，抽样变异有一个特别容易被忽略的特点：**它往往对不同亚组的影响程度不同。**样本量小的亚组，评估指标的方差更大；样本量大的亚组，指标更稳定。因此，当我们比较两个群体的性能差异时，不仅要比“均值之差”，还要比“这个差值自身的分布”。

这就像用两把尺子量东西：一把量程大、刻度粗，一把刻度精细。如果两把尺子读数不同，你不应该马上断定“物体长度真的不同”，而要先确认这个读数差，是否大于粗刻度尺子的最小刻度误差。

2.2 表征性原因：模型内部的结构性偏差

表征性原因，指的是模型在特征提取、特征表示、分类决策过程中，对某些群体产生了系统性的、结构性的能力差异。

这种差异不是随机噪声造成的，而是模型学出来的。可能的原因是：

训练数据中某些群体的样本很少，模型没有充分学习到该群体的特征分布。
数据采集过程中的偏差，导致某些群体的影像特征和标签之间关联较弱。
模型架构本身对某些特征模式不敏感，比如在低对比度影像上表现不佳。

表征性原因对应的是“模型是否真正在内部结构上产生了偏向”。这才是公平性审计真正想找的东西。因为如果偏差是结构性的，那么改进方向是明确的：增加训练数据、调整损失函数、做特征去偏。如果差异只是抽样变异，那么改进方向就不应该是“改模型”，而是“增加评估样本、优化评估协议”。

2.3 为什么这两个概念经常被混淆

根本原因在于：观察层面，它们都表现为“某个亚组的评估指标低于另一个亚组”。只看数字，你无法直接区分。必须引入统计推断和归因分析，才能把随机成分剥离出来。

举个极端例子。假设一个模型对所有人都是完全公平的，即真实能力没有群体差异。但如果某个亚组只有 20 个测试样本，那么这个组的评估指标可能随机波动得极其夸张。某次评估跑出来，该组 AUC 比全局低 0.15。如果团队不去分析置信区间，就会误以为模型对这个群体严重不公。这就是典型的抽样变异被误判为表征性原因。

FRAME 选择把这两个概念作为核心拆解对象，是因为在医学影像领域，这个区分的现实代价非常高。如果你把抽样变异误判为表征性问题，可能会去修改一个本来没有问题的模型，这不仅浪费时间，还可能引入新的回归。如果你把表征性问题误判为抽样变异，则会漏掉真正的模型缺陷，在临床部署后造成事实上的不公平。

3. FRAME 方法核心流程拆解

从方法论结构看，FRAME 的主干可以拆成四个环节。按顺序执行，就能得到“可信的公平性结论”而非“偶然的评估读数”。

3.1 整体思路

FRAME 的整体逻辑类似于假设检验框架，但更进一步。它不只是问“差异是否显著”，还要回答“显著差异是否能被解释为表征层面的原因”。这就形成了两层分析：第一层做统计显著性判断，第二层做归因判断。只有同时通过这两层分析，才能得到“模型存在表征性公平性问题”的结论。

3.2 第一层：对评估指标做多重采样估计

这一步的目标，是得到公平性指标（例如亚组间的 AUC 差、TPR 差、FPR 差）的分布，而不是单点估计。

具体做法是：对原始评估数据做多次有放回的重采样（bootstrap），或者在可行的情况下重复训练模型，得到多个公平性指标值。通过这些重复结果，可以计算置信区间、方差和分布形态。

在医学影像场景中，考虑到训练成本，常见做法是对测试集做 bootstrap 采样。代价是只能反映测试采样层面的变异，无法覆盖训练过程的随机性。如果需要更完整的估计，可以对训练集也做 bootstrap，然后各自训练模型、分别在固定的测试集上评估。后者计算成本高，但结论更稳健。

3.3 第二层：构造零假设分布

零假设是“模型不存在表征性公平性差异，观测到的差异来自随机波动”。在这个假设下，我们可以通过置换检验或标签重排，构造一个公平性指标的零分布。

做法是：把群体标签打乱，让群体归属和预测结果之间脱离真实关系，然后重新计算公平性指标。重复多次，就获得了一个“纯随机情况下指标会怎么波动”的参考分布。如果真实观测到的公平性指标落在零分布之外，说明差异大到不太可能由随机波动解释，统计上倾向于拒绝零假设。

3.4 第三层：分离抽样变异与系统性差异

结合第一层和第二层的结果，就能做一个更细的判断：

如果观测差异的置信区间包含 0，说明抽样变异足以解释当前差异，不建议下“存在公平性差异”的结论。
如果置信区间不包含 0，同时差异落在零分布之外的尾部，说明差异确实超过了随机波动水平，值得归因分析。
如果置信区间不包含 0，但差异位于零分布内部，情况更微妙：说明当前样本量不足以区分“真实差异”和“随机波动”，需要更多数据或更严格的评估协议。

这一步是 FRAME 方法里最核心的判断环节。它不是非黑即白地给出“有问题”或“没问题”，而是给出一个分层次的判断，帮助团队决定下一步该花精力在哪里。

3.5 第四层：表征归因分析

如果统计层面确认差异显著，下一步要回答的是：这种差异是否真的能被模型内部表征解释？

表征归因分析通常需要访问模型内部的中间特征，而不是只看最终预测结果。常用的方法包括：

对模型倒数第二层特征做群体分离度分析，检查不同群体在特征空间中是否形成明显聚类。
使用特征归因方法（如 Grad-CAM、Integrated Gradients 等）检查模型在决策时关注区域是否存在群体差异。
比较不同群体在特征空间的质心距离、协方差结构，量化和随机基线之间的差距。

如果特征层面确实存在结构性的群体分离，那么“表征性原因”的判断就更可靠；如果特征层面看不到明显结构差异，那么前面观察到的指标差异，可能需要回到数据层面找解释。

4. 环境准备与前置条件

FRAME 本身不是一个需要安装的软件包，它是一套分析流程。但要在真实项目里跑通这套流程，需要准备以下环境依赖。

4.1 基础运行环境

操作系统：Linux 或 macOS 均可，Windows 需要确保相关依赖库可用。
Python 版本：建议 3.9 及以上，本文示例基于 Python 3.10 编写。
深度学习框架（根据实际模型选）：PyTorch 或 TensorFlow 均可，本文示例不涉及深度模型训练，只做指标计算，因此不强制要求。

4.2 Python 依赖库

numpy：数值计算
pandas：数据处理
scikit-learn：评估指标与模型训练（用于模拟数据）
scipy：统计检验
matplotlib：可视化（非必要，但推荐）

安装命令：

pip install numpy pandas scikit-learn scipy matplotlib

4.3 数据要求

FRAME 分析对数据有最低要求：

每个亚组至少要有足够样本量。具体数量取决于指标类型和预期效应量，组内样本少于 30 时，置信区间通常会非常宽。
需要有明确的群体标签字段，且标签定义与业务问题一致。
模型预测结果需要保存为结构化文件，至少包含真实标签、预测概率、群体标签三列。

如果项目里连“预测结果文件”都没有，建议先统一评估脚本，确保每次评估都能输出标准化的结果文件，再进入 FRAME 分析流程。

5. 完整示例代码实现

为了把 FRAME 的流程讲得更具体，我用一个模拟数据示例来展示：如何计算公平性指标的置信区间、构造零假设分布、并判断观测差异是否超出了随机波动范围。

需要说明的是，这是一个教学用的简化实现，用于演示方法思路。生产环境中的完整 FRAME 流程可能涉及更复杂的特征归因和重采样策略，但核心逻辑与本文一致。

5.1 模拟数据集构造

模拟场景设定为一个医学影像二分类任务。假设预测目标是“是否存在某种病变”。我们有两个群体：group A 和 group B。为了模拟真实情况，设 group B 样本量较少，且真实性能略低。

# 文件路径：data_simulation.py import numpy as np import pandas as pd np.random.seed(42) n_a = 1200 n_b = 200 # group A: 真实 AUC 较高 y_a = np.random.binomial(1, 0.4, n_a) score_a = 0.3 * y_a + np.random.normal(0, 1, n_a) # group B: 真实 AUC 略低，但差异较小 y_b = np.random.binomial(1, 0.4, n_b) score_b = 0.25 * y_b + np.random.normal(0, 1, n_b) df = pd.DataFrame({ "y_true": np.concatenate([y_a, y_b]), "pred_score": np.concatenate([score_a, score_b]), "group": ["A"] * n_a + ["B"] * n_b, }) df.to_csv("simulated_data.csv", index=False) print("数据已生成，样本总数:", len(df)) print(df.groupby("group")["y_true"].agg(["count", "mean"]))

这段代码生成的模拟数据中，group A 有 1200 个样本，group B 只有 200 个样本，真实区别是系数从 0.3 降到 0.25，这个差异非常小。真实世界里，这种小差异可能来自采样噪声，也可能是模型表征层面的微小偏差。FRAME 要回答的问题就是：仅凭这 200 个样本，我们能不能可靠区分这两种可能？

5.2 FRAME 核心计算：置信区间与零假设分布

# 文件路径：frame_analysis.py import numpy as np import pandas as pd from sklearn.metrics import roc_auc_score from scipy import stats def auc_diff(df, group_col="group", label_col="y_true", score_col="pred_score", grp_a="A", grp_b="B"): """计算两个群体的 AUC 差值（A组 - B组）""" auc_a = roc_auc_score(df[df[group_col] == grp_a][label_col], df[df[group_col] == grp_a][score_col]) auc_b = roc_auc_score(df[df[group_col] == grp_b][label_col], df[df[group_col] == grp_b][score_col]) return auc_a - auc_b # 原始观测差异 original_diff = auc_diff(df) print(f"原始观测差异 (A-B): {original_diff:.4f}") # bootstrap：对测试集做有放回重采样，估计差异分布 n_boot = 1000 boot_diffs = [] for _ in range(n_boot): sample = df.sample(frac=1.0, replace=True, random_state=np.random.randint(10000)) boot_diffs.append(auc_diff(sample)) boot_diffs = np.array(boot_diffs) ci_low = np.percentile(boot_diffs, 2.5) ci_high = np.percentile(boot_diffs, 97.5) print(f"Bootstrap 95% 置信区间: [{ci_low:.4f}, {ci_high:.4f}]") # 置换检验：打乱群体标签，构造零假设分布 n_perm = 1000 perm_diffs = [] for _ in range(n_perm): perm_df = df.copy() perm_df["group"] = np.random.permutation(perm_df["group"].values) perm_diffs.append(auc_diff(perm_df)) perm_diffs = np.array(perm_diffs) p_value = np.mean(np.abs(perm_diffs) >= abs(original_diff)) print(f"置换检验 p-value: {p_value:.4f}")

这段代码完成两个关键分析。bootstrap 部分告诉我们：如果重复采样测试集，公平性差异的波动范围在哪里。置换检验部分告诉我们：如果群体标签和预测结果完全无关，纯随机情况下差异会如何分布。真实观测差异和这两个分布做对比，就能判断它更像随机波动，还是更像系统性差异。

5.3 表征归因的简化验证

真实场景中，表征归因需要访问模型的中间特征层。这里用一个简化版本演示：假设我们能拿到一个特征矩阵，看看 group A 和 group B 的特征分布是否真的存在结构性分离。

# 文件路径：representation_analysis.py import numpy as np import pandas as pd from scipy.spatial.distance import mahalanobis from sklearn.decomposition import PCA # 模拟模型中间层特征 np.random.seed(7) n_feat = 32 feat_a = np.random.multivariate_normal( mean=np.ones(n_feat) * 0.1, cov=np.eye(n_feat) * 1.0, size=1200 ) feat_b = np.random.multivariate_normal( mean=np.ones(n_feat) * 0.2, cov=np.eye(n_feat) * 1.2, size=200 ) feat_all = np.vstack([feat_a, feat_b]) group_all = np.array(["A"] * 1200 + ["B"] * 200) # 用 PCA 降到 2 维，便于观察 pca = PCA(n_components=2) feat_pca = pca.fit_transform(feat_all) # 简化版分离度分析：检查两个群体在 PC 维度上的均值差异 mean_a = feat_pca[group_all == "A"].mean(axis=0) mean_b = feat_pca[group_all == "B"].mean(axis=0) dist = np.linalg.norm(mean_a - mean_b) print(f"两群体在 PCA 空间的质心距离: {dist:.4f}") # 对比：随机打乱群体标签后的质心距离分布 perm_dists = [] for _ in range(500): fake_group = np.random.permutation(group_all) fake_mean_a = feat_pca[fake_group == "A"].mean(axis=0) fake_mean_b = feat_pca[fake_group == "B"].mean(axis=0) perm_dists.append(np.linalg.norm(fake_mean_a - fake_mean_b)) perm_dists = np.array(perm_dists) p_value_feat = np.mean(perm_dists >= dist) print(f"表征分离度置换检验 p-value: {p_value_feat:.4f}")

这套简化版代码展示了表征归因的思考方式：如果 group A 和 group B 在特征空间的结构性差异显著大于随机打乱标签后的差异，说明模型确实在不同群体上学出了不一样的特征模式，这时判定为“表征性原因”更有底气。如果特征层面的分离度不显著，那前面的指标差异就更可能需要往数据层面找解释。

5.4 完整分析报告生成

在实际项目中，建议把上述代码整合成一个分析函数，输出结构化报告：

# 文件路径：frame_report.py def run_frame_analysis(df, target_col="y_true", score_col="pred_score", group_col="group", grp_a="A", grp_b="B", n_boot=1000, n_perm=1000): """运行完整的 FRAME 统计层分析""" results = {} original_diff = auc_diff(df, group_col, target_col, score_col, grp_a, grp_b) results["original_diff"] = original_diff # bootstrap 置信区间 boot_diffs = [] for _ in range(n_boot): sample = df.sample(frac=1.0, replace=True) boot_diffs.append(auc_diff(sample, group_col, target_col, score_col, grp_a, grp_b)) ci_low = np.percentile(boot_diffs, 2.5) ci_high = np.percentile(boot_diffs, 97.5) results["ci_low"] = ci_low results["ci_high"] = ci_high # 置换检验 p 值 perm_diffs = [] for _ in range(n_perm): perm_df = df.copy() perm_df[group_col] = np.random.permutation(perm_df[group_col].values) perm_diffs.append(auc_diff(perm_df, group_col, target_col, score_col, grp_a, grp_b)) p_value = np.mean(np.abs(perm_diffs) >= abs(original_diff)) results["p_value"] = p_value return results if __name__ == "__main__": df = pd.read_csv("simulated_data.csv") report = run_frame_analysis(df) for key, value in report.items(): print(f"{key}: {value:.4f}" if isinstance(value, float) else f"{key}: {value}")

这个函数是整套流程的入口，把核心分析逻辑封装成可复用模块。实际项目中，可以把结果再输出成 JSON 或表格，附加到模型评估报告里。

6. 运行结果与效果验证

6.1 预期输出

运行上面的模拟分析，你会得到类似下面的输出：

原始观测差异 (A-B): 0.0253 Bootstrap 95% 置信区间: [-0.0087, 0.0581] 置换检验 p-value: 0.1500

模拟环境不同会导致具体数值有少量波动，但结论模式会稳定出现：原始观测差异是正的，看起来 group A 确实比 group B 表现好。但 bootstrap 置信区间跨越了 0，说明差异的随机波动范围很大。置换检验的 p-value 大于 0.05，说明把群体标签打乱后，出现类似甚至更大差异的概率不低。

6.2 如何判断结果

按照 FRAME 的分析逻辑，可以按下面的规则进行判断：

观测情况	统计解释	行动建议
置信区间包含 0，p-value 大	抽样变异足以解释当前差异	不应急于下“模型不公平”结论
置信区间不包含 0，p-value 小	差异显著超出随机波动	进入表征归因分析
置信区间不包含 0，p-value 大	样本量不足以稳定估计	增加样本或采用分层采样设计
置信区间范围过大	经验不足，评估协议不稳定	检查样本量，或改用更稳定的指标

6.3 失败时的第一步排查方向

如果运行代码报错，优先级最高的检查顺序是：

检查数据文件中是否有空值。空值会导致 roc_auc_score 报错。
检查 group 列的值是否与代码中默认的 A、B 匹配。
检查样本量是否足够。如果某个组只有 10 条样本，评估曲线会非常不稳定。
检查预测分数是否为连续值。如果预测分数恰好是二值，AUC 会退化为一个比较粗糙的指标。

运行通过之后，重点看 bootstrap 置信区间宽度。如果区间宽度超过 0.1，说明当前评估数据的抽样变异非常大，所有公平性结论都需要打折扣。

7. 常见问题与排查思路

7.1 公平性指标该用 AUC 差还是别的指标

AUC 只回答排序能力问题，不回答阈值决策问题。在医学影像场景中，如果模型最终输出是“是否通知医生”“是否优先检查”，那么 TPR 差、FPR 差、PPV 差等阈值相关指标可能更接近业务目标。

FRAME 的思路不绑定具体指标。你可以把 AUC 换成 TPR、FPR、校准误差等任何公平性度量，只要保持一致，整个置信区间和置换检验框架仍然适用。

7.2 bootstrap 和重复训练的区别

bootstrap 重采样测试集，只能反映“测试样本选择”层面的不确定性，无法反映“如果换一套训练数据，模型会怎么变”。重复训练的做法更全面，但成本高很多。

在医学影像领域，如果只是想快速判断一次评估结果是否可靠，bootstrap 测试集已经足够。如果要为论文提供严谨结论，建议至少对训练集也做多次重采样训练，再用固定测试集评估。

7.3 置换检验对类别不平衡敏感吗

敏感。如果某个群体样本量很小，置换检验的零分布会偏向该群体的样本比例，导致 p-value 偏大。缓解方式是使用分层置换，也就是在打乱标签时保持整体正负样本比例不变。scikit-learn 中有相关工具可以直接使用。

7.4 置信区间不包含 0，就一定能说“模型有问题”吗

不能。统计显著性不等于实际重要性，更不等于表征性原因。置信区间不包含 0，只说明差异在统计上不太可能是纯随机波动。这个差异到底是不是模型表征层面的结构性偏差，还需要通过特征归因分析、错误样本分析、数据来源排查等方式继续验证。

7.5 医学影像数据的小样本亚组怎么处理

小样本亚组是医学影像公平性评估里最常见也最棘手的问题。组内样本少于 50 时，AUC 置信区间通常宽到没有操作性。此时正确做法不是强行下结论，而是：

优先补充该群体的数据，而不是修改模型。
在论文或报告里明确标注置信区间，不要只写点估计。
使用群体层面的分层交叉验证，尽量减少抽样波动。

7.6 常见问题速查表

问题现象	可能原因	排查方式	解决方案
bootstrap 置信区间过宽	样本量不足或组间差异过小	查看各组样本数和差异分布	增加样本或使用配对评估设计
置换检验 p-value 偏大	小样本组影响了零分布	检查样本比例	使用分层置换检验
不同随机种子结果差异很大	评估流程对异常样本敏感	检查是否存在极端预测值	对预测分数做截断或改用鲁棒指标
特征归因分析与指标结论矛盾	指标差异来自数据分布而非模型表征	检查各组的标签分布和影像来源	补充数据层面的偏差分析
训练集和测试集样本分布不一致	外部验证引入了域偏移	对比训练/测试集的临床特征分布	采用域自适应或重新设计验证集

8. 最佳实践与工程建议

8.1 把 FRAME 分析嵌入模型评估流水线

不要等到模型训练完成后再临时跑 FRAME 分析。更好的做法是在评估流水线里默认加入这一步：每次跑完测试集指标，自动输出置信区间和置换检验结果。这样团队看指标时，会自然养成“先看波动范围，再下结论”的习惯。

推荐在模型评估报告中增加一个固定段落，包含以下内容：

各组样本量
公平性指标的点估计与 95% 置信区间
差异性检验的 p-value
是否进入表征归因分析的结论

8.2 保存预测结果文件

很多团队只保存指标数值，不保存预测结果本身。这会导致后续想补做 FRAME 分析时，只能重新跑模型。强烈建议在评估阶段保存一个标准化的结果文件，格式类似：

case_id,site,device,age_group,sex,y_true,pred_score CT_001,siteA,deviceX,50-60,F,1,0.82

有了这个文件，FRAME 分析、错误案例复盘、后续的指标重算都可以随时进行，成本极低。

8.3 注意数据合规边界

医学影像数据的公平性分析，涉及患者隐私和敏感属性保护。实际项目中，患者性别、年龄、种族、民族等身份属性标签通常受到严格管控。在做 FRAME 分析前，务必确认以下几点：

分析方案是否已通过伦理审查和合规审批。
敏感属性字段是否已做去标识化处理。
所有分析是否在受控环境中进行，不携带原始数据离开系统边界。
输出报告只包含统计汇总，不包含个体级信息。

这方面的重要性不亚于算法本身。公平性分析的目的是提升模型的透明度和可靠性，如果因为分析流程本身违反了数据安全规范，反而得不偿失。

8.4 小样本亚组的处理策略

遇到小样本亚组，不要指望任何统计方法能“无中生有”地给出可靠结论。FRAME 的统计框架能做的是：明确告诉你当前结论有多不可靠。对于样本量严重不足的亚组，更务实的做法是把“置信区间过宽”直接写进评估报告，并给出样本量需求估算。

如果要对小样本亚组做模型层改进，优先考虑：

迁移学习或自监督预训练，利用其他影像数据补充该群体的特征学习。
数据增强，但注意不要引入与临床无关的伪影。
联邦学习与多中心协作，在合规前提下引入其他医疗机构的同群体数据。

8.5 不要过度解读统计显著性

P-value 小于 0.05 只代表“随机波动能解释该结果的概率较低”，不代表“差异一定具有临床意义”。在医学影像公平性评估里，一个 0.01 的 AUC 差异可能统计显著，但临床用户根本感知不到。反过来，一个 0.05 的差异可能不显著，但实际部署中却可能带来明显体验差异。

FRAME 的方法论本质是帮你区分“随机噪声”和“结构性差异”，但判断“差异是否重要”还需要结合业务目标和临床背景。统计工具只能负责“可信”，业务判断负责“有意义”，两者缺一不可。

8.6 保持评估协议的一致性

医学影像模型评估最容易出的工程问题是：每次评估的划分方式、预处理方式、阈值选择不一致。这会直接污染公平性分析的结果。建议在项目启动时就把评估协议固定下来，包括：

固定随机种子和交叉验证折数。
固定数据预处理顺序。
固定最终的阈值选择方法。
在真实部署场景里固定推理预处理逻辑。

只有评估协议一致，FRAME 分析得出的结论才可跨时间、跨团队复现。

8.7 记录分析的可复现性

FRAME 分析涉及多个随机过程：bootstrap 采样、置换检验、重复训练。这些过程都需要固定随机种子，并且在输出结果时记录种子值。否则，同事或未来的你可能无法复现今天得到的置信区间和 p-value。

推荐在输出报告中追加一个元信息字段：

Python 版本、依赖库版本
随机种子
原始数据文件哈希值
运行时间和执行人

9. 总结与后续学习方向

FRAME 方法的本质贡献，是给医学影像公平性评估补上了一层“区分信号与噪声”的统计机制。它不承诺告诉你模型是否百分之百公平，而是帮你避开最常见的误判动作：把一次采样结果当成模型真实属性。这套思路放到任何医疗 AI 评估场景都适用，区别只是具体实现的复杂度和数据量需求。

从实践角度，现在最值得做的事情，不是立刻去复现 FRAME 论文的全部实验，而是先在现有的评估报告里加入一行 bootstrap 置信区间。就这么一个简单改动，很多原本看起来“明显的”群体差异可能会暴露真实的波动范围，团队对公平性结论的理解也会立刻不一样。

如果想继续深入，可以沿着这几个方向往下走：一是学习更严谨的重采样策略，比如分层 bootstrap、贝叶斯置信区间估计；二是深入研究模型表征的分析工具，如特征归因、表征相似度矩阵、群体间的表示对齐分析；三是关注医学影像公平性评测数据集的构建方式，样本量规划和数据分布设计本身就是影响公平性结论的底层变量。

最终提醒一句：公平性评估不是一次性的检查动作，而应该是模型开发流程中的持续环节。每一次模型更新、每一次数据扩充、每一次部署环境变化，都应该重新跑一遍类似 FRAME 的分析。把这个动作变成流程的一部分，比一次性引入任何单一工具都更能提升模型的下限。