深度学习数据清洗与压缩方法 — Influence Functions-平芜编程栈

影响函数 Influence Functions用一次微分近似 Leave-One-Out，回答一个朴素却强大的问题—— “删掉这个训练样本，模型会变好还是变差？” 在数据清洗里，它是定位错标 / 在数据清洗里，它是定位错标 / 有害样本最优雅、最有理论支撑的工具之一。

1. 问题背景（从留一法演化过程）

模型的不确定性，本质来自数据。真实数据集里总混杂着错标、重复、离群与有害样本——它们悄悄拉低泛化。一个自然的诊断思路是留一法（Leave-One-Out, LOO）：

留一法：删掉样本z后，测试损失的变化，根据损失变化情况找出错标数据与有害数据

问题在于：每删一个样本就要重新完整训练一次。N 个样本 ⇒ N 次训练。在百万级数据集、亿级参数模型上，这完全不可行。删除样本，本质是对损失做一次微小的扰动。既然模型已经在最优点 θ∗ 附近，我们不必真的重训——用泰勒展开（一阶 + 二阶）就能线性近似这次扰动的后果。这就是影响函数的全部出发点。代价从O(N × 训练成本)直接降到O(1 × 训练成本 + 若干次反向传播)，且无需改动模型结构。

2. 数学建模

1）经验风险与扰动建模

设训练集 {z1, …, zn}，模型通过经验风险最小化得到最优参数：

为了度量“样本 z 有多重要”，构造一个上权重扰动：把 z 的损失权重抬高 ε：

注意：删除 z等价于 ε = −1/n 的上权重（权重从 1/n 变成 0）

2）参数如何移动：海森矩阵登场

对 θ̂(ε) 的一阶最优条件求导，得到参数随 ε 的变化方向：

于是删掉 z 后参数的近似偏移：

把上面的参数偏移代入测试损失，就得到影响函数（衡量训练样本 z 对测试样本 ztest 损失的影响）：

符号怎么读

ℐ 是“上权重 z 一点点，测试损失变化多少”的瞬时变化率：

ℐ > 0：上权重 z 会让测试损失上升⇒ z 是有害样本（删掉它，测试损失下降，模型变好）。
ℐ < 0：上权重 z 会让测试损失下降⇒ z 是有益样本（值得保留甚至增权）。

令 ztest = z 自身，得到自影响：

ℐ(z, z) = − ∇θ L(z, θ∗)⊤ H−1θ∗ ∇θ L(z, θ∗) ≤ 0

自影响：样本 z 对自身损失的影响（查询点 = 训练点本身）。

与上一式完全相同：z 自身的梯度、逆海森、再与自身梯度内积。

因 H−1 半正定，自影响恒非正；其绝对值越大，模型为拟合该样本付出的代价越大，越疑似错标/异常。

在最优解附近 H−1 半正定，故自影响恒非正。其绝对值（−ℐ(z, z)）越大，意味着模型为了“记住 / 拟合”这个样本付出了越大的参数代价——这正是错标、噪声、难且异常样本的典型特征。

错标样本的标签与真实特征规律冲突，导致：① 损失大 ⇒ 梯度 ∇L(z) 模长大；② 梯度方向与多数样本偏离 ⇒ 在 H−1 度量下被放大。两个因素叠加，使其自影响显著高于正常样本。排序后 top-k 命中率远超随机猜测。

深度网络参数量动辄上千万，海森矩阵 H ∈ ℝp×p 既无法存储（p2 项）也无法显式求逆。但影响公式里需要的从来不是 H−1 本身，而是它作用在一个向量上的结果H−1v。

3. 数据清洗

1）数据清洗判别标准与流程

判别标准

算法数据清理常用流程

2）深度学习常依靠loss值与置信度寻找简单困难样本与这种方法对比

loss 高 ≠ 错标：难样本（hard examples）loss 也高，但它们是模型该学好的宝贵信号，不该删。
置信度低 ≠ 错标：边界附近样本天然不确定。
影响函数同时编码了“难”与“对模型方向有干扰”——它问的不是“这个样本学得好不好”，而是“这个样本把模型带偏了多少”。这是 loss 类指标无法提供的二阶视角。

loss 衡量拟合难度，影响函数衡量因果方向。清洗的目标是后者——去掉“带偏模型”的样本，而不是去掉“难学”的样本。

3）局限性

二阶近似的假设：要求模型接近收敛且损失在 θ* 附近近似凸/线性。在非凸深度网络（尤其未充分训练时）近似质量会下降，Koh & Liang 原文也承认部分实验中估计不稳。
数值稳定性：海森矩阵病态、梯度爆炸/消失都会污染 H−1v。常用damping（H + λI）稳定。
计算成本：每个参考点需一次 CG（多次 HVP）。大数据集上需子采样参考集 / 并行 HVP，否则仍重。
解释 ≠ 因果：影响值是“线性近似下的局部相关性”。当扰动较大（如一次性删除大量样本）时，线性外推会失真。
对模型架构敏感：BN、dropout 等随机/批相关层会破坏“单个样本梯度”的干净定义，需特殊处理。

3）演化方法

DataInf (Kwon & Wu 2023)	对逆海森做低秩近似	适配大模型 / LLM 微调，显存友好
TRAK (Park et al. 2023)	随机投影 + 多模型特征	可扩展到大型数据集，工程化好

在 LLM / 对齐时代，该方法被用于挑选最有价值的微调数据、定位导致幻觉的有害样本、以及追溯模型输出到训练语料（data attribution）。