做数据分析这些年，我见过太多人把缺失值当成一道“填空题”——看到NaN就想填，填不上就想删。但真实项目里，缺失值处理更像一道“判断题”。DAY4我们专门聊缺失值，是因为它几乎是每个真实数据集都绕不开的坎：用户画像里一半人没填年龄，销售订单部分金额缺失，传感器数据偶尔丢几个时间点。这些问题如果不系统处理，后面所有统计分析和机器学习模型都会跟着翻车。
这篇文章我把实际项目中处理缺失值的完整思路梳理一遍：从缺失机制的分类讲起，到排查手段，再到删除、填充、插值、多重填补这些具体方案的适用边界，最后分享几段可以直接抄的Python代码，以及我在真实项目里踩过的坑。不管你是刚接触数据分析的新手，还是已经跑过几个模型、想系统整理这块知识的从业者，这篇内容应该都能给你一个可复用的判断框架。
1. 缺失值到底是什么：先搞清楚数据为什么会“缺一块”
1.1 缺失值不只是“没填完”那么简单
在数据分析里，缺失值指的是某个观测的某一个或几个特征没有取值，通常表现为NaN、NULL或者空字符串。很多人第一反应是“数据录入漏了”，但实际情况远比这个复杂。举个最常见的例子：电商平台做用户问卷，年龄字段缺失严重。漏填是一部分原因，但更可能是用户不愿意暴露年龄而主动跳过；医疗数据里某项检查结果缺失，可能是因为患者当时没做这项检查；传感器数据某时间段缺失，可能是设备故障、断网，也可能是维护期间手动停机。不同原因导致的缺失，处理方式完全不同。
这里有一个非常关键的概念：缺失本身可能携带信息。比如“用户没填收入”这件事本身，可能代表该用户对隐私敏感，这个特征和用户的行为习惯往往是有关系的。如果我们把所有缺失值都粗暴地填成均值，等于把“拒绝回答”和“收入中等”混为一谈，数据里的信号就被人为抹掉了。所以处理缺失值的第一步，不是动手填，而是先问一句：这些值到底为什么缺失？
1.2 三分钟理解缺失机制：MCAR、MAR、MNAR
统计学家把缺失产生的机制分成三类，这是处理缺失值的理论基石：
| 缺失机制 | 含义 | 典型场景 | 处理难度 |
|---|---|---|---|
| MCAR（完全随机缺失） | 缺失与否和其他所有变量都没关系 | 问卷墨水污损、录入员随机漏输 | 低 |
| MAR（随机缺失） | 缺失与否和已观测到的其他变量有关，但与缺失变量本身的真实值无关 | 年轻人更不愿填收入，但和实际收入高低无关 | 中 |
| MNAR（非随机缺失） | 缺失与否和缺失变量本身的真实值有关 | 收入极高或极低的人都倾向不填收入 | 高 |
MCAR和MAR在理论上可以用统计方法处理得比较好，但MNAR非常棘手，因为缺失本身就是信号，你在数据里根本看不到缺失部分的真实值。遇到MNAR，任何简单的删除或填充方案都会引入系统性偏差。举个极端例子：一个“收入”字段，只有低收入者愿意填，高收入者全都不填，那么用可观测数据算出来的平均收入会严重低估真实水平。这就是为什么我常说，拿到一个缺失率不低的数据集，先别急着写fillna，先想一想缺失背后的业务逻辑。
1.3 为什么DAY4要专门花一天讲缺失值
因为我见过太多项目死在了这一步：辛辛苦苦清洗完数据，建模时却发现效果差，回头检查，才发现缺失值处理环节用错了方法。缺失值是数据质量问题的核心入口之一，处理好了，后面的特征工程和建模才站得住脚；处理不好，模型再花哨也是白搭。而且缺失值处理不是一锤子买卖——同一个数据集里，不同列的缺失可能属于不同机制，需要分别判断、分别处理。DAY4这一天，就是把这块地基打牢。
2. 动手前的体检：如何系统排查数据集里的缺失情况
2.1 用info()和isnull()快速摸底
拿到数据先别急着填，先做体检。Python里最常用的就是pandas，两个命令就能把缺失情况摸清楚：
import pandas as pd df = pd.read_csv("your_data.csv") df.info()info()会输出每一列的非空数量，和总行数一比，缺失情况一目了然。接着用：
missing_count = df.isnull().sum() missing_rate = df.isnull().mean().round(4) * 100 missing_summary = pd.DataFrame({ "缺失数量": missing_count, "缺失率(%)": missing_rate }) print(missing_summary.sort_values("缺失率(%)", ascending=False))isnull()返回的是布尔矩阵，sum()按列求和，mean()按列算占比。这步做完，哪几列有问题、有多严重，心里就有数了。这里提醒一句：有些数据集里的缺失不是NaN，而是空字符串""、"N/A"、"Unknown"甚至-999这样的占位符。这种情况isnull()查不出来，需要先做一步清洗：
# 把常见的缺失占位符统一替换为NaN df = df.replace(["", "N/A", "Unknown", -999], pd.NA)否则后面的填充逻辑根本不会生效，数据体检等于白做。
2.2 缺失率分级：该删还是该补的判断标准
我的经验是先把缺失率分三档处理：
| 缺失率范围 | 处理建议 |
|---|---|
| <5% | 通常可以直接忽略，或简单填充（均值/中位数） |
| 5%-30% | 需要认真分析缺失机制，选择填充方案 |
| >30% | 优先考虑删除该列，除非该特征业务价值极高 |
30%这个阈值不是绝对的，但如果一列有超过三成的数据都缺失，填充出来的值可信度很低，还容易被模型当作真实信号去学习，风险大于收益。当然，如果这列是业务核心变量（比如客户价值分箱），那就得结合专业背景想办法，而不是一删了之。另外，如果一个特征90%都缺失，我倾向于直接删列，因为保留一个“高缺失率占位列”在建模中不仅没帮助，还可能误导模型。
还有一个容易忽略的点：如果某个缺失列恰好是我们要预测的目标变量，那就绝对不能删列，而是要把缺失样本剔除，否则模型没东西可学。预测任务中，训练集的目标字段不允许有缺失。
2.3 缺失值之间的关联：别忽略共缺失现象
有时候你会看到一个有趣的现象：两列数据的缺失位置完全重叠，或者某一列的缺失总是伴随另一列的非空。这种“共缺失”背后往往有业务原因——比如两个字段是在同一个调查环节被跳过的，或者一列是由另一列衍生出来的，衍生列在源值缺失时必然也缺失。
排查共缺失可以用简单的方法：
# 找出每列的缺失掩码 missing_mask = df.isnull() # 检查两列缺失是否高度重叠 overlap = (missing_mask["列A"] & missing_mask["列B"]).mean() print(f"列A与列B同时缺失的比例：{overlap:.2%}")如果同时缺失的比例接近1，那这两列很可能是同一个数据来源，要么一起处理，要么考虑合并口径，而不是分别填。更全面一点，可以画一个缺失相关热力图，把两两之间的缺失重叠系数都算出来，这样能快速发现缺失情况的聚集模式：
import seaborn as sns import matplotlib.pyplot as plt # 计算列与列之间缺失重叠率矩阵 overlap_matrix = missing_mask.T @ missing_mask / len(df) plt.figure(figsize=(10, 8)) sns.heatmap(overlap_matrix, annot=True, cmap="Reds") plt.title("特征间缺失重叠率") plt.show()这一步我建议必做，尤其是特征数量多的数据集。很多看起来“各自为政”的缺失，画完热力图才发现它们是一伙的，处理起来思路完全不同。
3. 删除派与填充派的取舍：两类基础处理路线的适用边界
3.1 直接删除：什么时候删最划算
最基础的方案是直接删除，分两种：删行和删列。
删行的条件是：缺失行占比小（比如低于5%），且缺失发生在随机的位置，删除后不会改变整体分布。pandas里一句dropna()就能做：
# 删除所有含有缺失值的行 df_drop_rows = df.dropna() # 只删除某几列有缺失的行 df_drop_rows = df.dropna(subset=["年龄", "收入"])如果你想更精细一点，可以用thresh参数控制“这一行至少有N个非空值才保留”：
# 每行至少保留80%的非空值 df_drop_rows = df.dropna(thresh=int(len(df.columns) * 0.8))删列的场景前面说过：缺失率过高、又没有可靠的填充依据。但删除前一定要做个验证——删完行之后，把关键字段的均值、标准差和删除前对比一下。如果差异肉眼可见，说明删除并不是随机的，那些缺失行携带了额外信息，删除会引入偏差。
我个人的经验是：删除是最省事但“代价最高”的方案，因为它直接丢弃了数据里包含的信息。只有在缺失率低、机制接近MCAR时才优先考虑。真实项目里，我很少直接无脑dropna，除非确认缺失比例很低。
3.2 常数/统计量填充：均值、中位数、众数的选择逻辑
填充派的第一梯队是简单统计量填充。pandas的fillna()直接搞定：
# 数值列用均值填充 df["年龄"] = df["年龄"].fillna(df["年龄"].mean()) # 数值列用中位数填充（更稳健） df["收入"] = df["收入"].fillna(df["收入"].median()) # 类别列用众数填充 df["城市"] = df["城市"].fillna(df["城市"].mode()[0])这里有个关键选择逻辑：数据近似正态分布或者偏斜不严重时，均值够用；数据有极端值（比如收入这种长尾分布），中位数远比均值稳健，因为均值会被极少数超高分拉高，填进去会让大部分样本“被高估”。对类别特征，众数是最合理的，但要注意众数可能不止一个，mode()[0]取第一个即可。
还有一种更好的做法，是按分组填充：如果你知道缺失值和某个分组变量相关，比如不同城市的人均收入差异巨大，那就应该按城市分组算中位数再填，而不是用全量中位数。实现起来也不复杂：
# 按“城市”分组填充“收入”的中位数 df["收入"] = df.groupby("城市")["收入"].transform(lambda x: x.fillna(x.median()))这比全局填充再进一层，利用了分组信息，填充值对每个样本更贴合。代价是如果某个城市分组里全部缺失，transform会返回NaN，还需要再兜底一次。
3.3 顺序数据的特殊方案：前向填充和后向填充
如果你的数据是有顺序的——比如时间序列、按时间排序的交易流水——那么前向填充和后向填充往往比均值填充更合理，因为邻近时间的观测值通常相关度更高。
# 前向填充：用前一个有效值填充 df["温度"] = df["温度"].ffill() # 后向填充：用后一个有效值填充 df["温度"] = df["温度"].bfill()前向填充的直觉是“上一时刻的温度大概率接近这一时刻”，对于短时缺失非常有效。但如果连续缺失太多，前向填充会把一个老值一直“撑”到很久之后，这时候要限制填充范围，或者考虑插值。pandas 2.0之后还支持limit参数，比如最多连续填充3个缺失点：
df["温度"] = df["温度"].ffill(limit=3)超过3个连续缺失就保持NaN，这样做能避免长区间完全由旧值主导。我处理传感器数据时几乎必用这个参数。
4. 进阶玩法：插值法、多重填补与模型预测
4.1 线性插值：适合时间序列但不万能
插值法的核心思路是利用已有数据点的趋势来估算缺失值，最常见的是线性插值：
df["温度"] = df["温度"].interpolate(method="linear")interpolate()默认就是线性插值，它利用缺失点前后两个有效值画一条直线，按位置比例估算中间值。对于连续变化的物理量（温度、水位、股价）效果好。但要注意：线性插值假设变化是线性的，真实数据往往有波动，所以只适合短区间缺失；如果是分类变量，插值出来的可能是“不上不下”的中间值，根本没有实际意义。
除了linear，还可以用time插值（按时间间隔加权）、polynomial（多项式插值）等：
# 按时间间隔加权插值 df["温度"] = df["温度"].interpolate(method="time") # 二阶多项式插值，适合变化非线性的场景 df["温度"] = df["温度"].interpolate(method="polynomial", order=2)时间序列中，time插值比linear更合理，因为它会根据相邻时间点的时间差分配权重，不会出现“等间距才有效”的问题。多项式插值能拟合曲线变化，但阶数太高容易过拟合，一般order取2或3就够了。
4.2 多重填补(MICE)：统计学人的专业选择
如果数据用于正式统计分析，或者缺失比例不算低，我会推荐多重填补（MICE，链式方程多重插补）。它的思路是：不填一个固定值，而是通过多次迭代，利用其他变量为每个缺失值生成多个候选值，然后合并结果，把“填充不确定性”也纳入统计推断。
Python里scikit-learn提供了现成的IterativeImputer：
from sklearn.impute import IterativeImputer import numpy as np imputer = IterativeImputer(max_iter=10, random_state=42) df_imputed = imputer.fit_transform(df[["年龄", "收入", "消费频次"]])IterativeImputer的原理是：先把缺失值用均值初始化，然后轮流把每一列当作目标，用其他列做回归预测，更新缺失值，反复迭代直到收敛。这个过程模拟了变量之间的真实关系，填充质量比均值填充高一个量级。举个例子，如果“收入”和“教育年限”存在强相关，IterativeImputer会自动学出这层关系，给高学历样本填出相对高的收入，而不是所有人填同一个数。
需要注意：多重填补计算量大、解释难度也高，如果只做探索性分析，它的性价比不一定高；但如果要出分析报告、做严谨统计推断，它值得投入。还有一个替代方案是KNN填充，用最相似的K个样本的平均值来填充当前缺失值：
from sklearn.impute import KNNImputer knn_imputer = KNNImputer(n_neighbors=5) df_imputed = knn_imputer.fit_transform(df[["年龄", "收入", "消费频次"]])KNN填充的关键是特征需要先做标准化，否则欧氏距离会被量纲大的字段主导。这一点很多人会漏掉，填出来的结果自然不理想。
4.3 用回归/机器学习模型预测缺失值
更进一步，我们甚至可以专门训练一个模型来预测缺失值：把“缺失值所在列”当作标签，把“没有缺失的其他列”当作特征，用那些完整的样本训练模型，再对缺失样本做预测。这就是模型填充，是很多竞赛玩家的常用手段。
from sklearn.ensemble import RandomForestRegressor import pandas as pd # 假设"收入"有缺失，其他列完整 train_data = df[df["收入"].notna()] test_data = df[df["收入"].isna()] features = ["年龄", "教育年限", "职业编码"] model = RandomForestRegressor(n_estimators=200, random_state=42) model.fit(train_data[features], train_data["收入"]) test_data["收入预测"] = model.predict(test_data[features]) df.loc[df["收入"].isna(), "收入"] = test_data["收入预测"]这个方法比单一统计量填充更聪明，因为它利用了多变量的联合信息。但要警惕两个坑：一是过拟合，如果用来预测的特征里包含和目标高度相关的信息（比如用“消费金额”预测“收入”，而消费金额本身又依赖收入），填充值偏差会很大；二是数据泄漏，如果训练模型时用了本来就不该出现的未来信息，填充出来的值虽然在统计上“好看”，业务上却完全失真。所以模型填充之前，先想清楚特征之间的因果关系，而不是把相关性当因果。
5. 真实项目里的坑与判断经验
5.1 均值填充对分布的影响：为什么危险
均值填充最大的坑在于：它把数据的方差缩小了。原来真实数据可能标准差是100，你填进去的都是平均值，填充完标准差反而变小，整个分布会向中间“挤压”。这会导致后续模型低估数据的波动性，聚类算法可能把一个本应分散的群体硬聚成一团，回归模型的置信区间也会变窄，给人“预测很准”的假象。
怎么验证？填充前后对比一下分布：
import matplotlib.pyplot as plt plt.figure(figsize=(10, 4)) plt.subplot(1, 2, 1) df_orig["收入"].hist(bins=50, alpha=0.7) plt.title("原始收入分布（含缺失）") plt.subplot(1, 2, 2) df_filled["收入"].hist(bins=50, alpha=0.7) plt.title("均值填充后收入分布") plt.tight_layout() plt.show()如果填充后分布明显向中间聚拢，说明均值填充压变了分布，这时候要么换中位数/插值，要么加一个“是否缺失”的辅助列，让模型知道哪些是填充的。我自己的习惯是：凡是做了填充的特征，都会在特征工程阶段生成一列is_missing标志位，让模型自己去学缺失模式是否有价值。这个操作成本极低，但经常能带来几个点的效果提升。
5.2 类别特征的缺失处理：加一个“未知”比瞎猜更稳
数值特征的填充方法五花八门，但类别特征要小心。比如城市字段缺失，你用众数填成“上海”，等于默认这些人住在上海，这在营销场景里意味着你会给他们推送上海的活动，实际效果自然差。我的建议是：类别缺失直接新增一个“未知”类别，让模型自己学习“未知”这个取值和业务目标的关系。操作也简单：
df["城市"] = df["城市"].fillna("未知")这一步看似偷懒，实则是把“缺失”本身作为一个信息维度保留了下来，比用众数掩耳盗铃要诚实得多。具体到业务场景，如果“城市”和“是否复购”有关，“未知”这个取值反而可能代表一类真实存在的用户（比如游客、未开通定位的用户），保留下来对建模更有帮助。
5.3 验证填充效果的两个指标
无论用什么方案填充，做完这一步都不能直接走人。我通常会做两个验证：
- 抽样人工审查：随机抽20个被填充的样本，对照业务逻辑看填充值是否合理。比如年龄填出200岁、收入填出负数，那方案肯定有问题。
- 建模对比：拿填充前的数据（剔掉缺失样本）和填充后的数据分别跑同一个基线模型，观察评估指标是否异常波动。如果指标大幅下降，八成是填充方案带入了噪声。
这两种验证都不需要复杂工具，但能帮你快速发现方案层面的错误。真实项目里，填充方案选错往往不是“填得不够准”，而是“填的方式破坏了数据结构”这件事没被发现。
5.4 实操中我常用的决策顺序
实战里我一般按这个顺序决策，分享给各位参考：
- 先看缺失率，高于30%、业务价值又低的列，直接删。
- 缺失率低、机制接近随机的，用最稳妥的方案：数值列用中位数，类别列用“未知”。
- 时间序列数据优先ffill/bfill，或线性插值，连续缺失超过3个点加limit限制。
- 变量关系复杂、缺失率10%-30%的，考虑KNNImputer、IterativeImputer或模型填充。
- 涉及严谨统计报告，MICE方案优先。
- 永远保留一条“是否缺失”的辅助特征做对比实验，看它对模型有没有帮助。
这套顺序不一定适用于所有场景，但它能帮你从“看到缺失就想填”的惯性里跳出来，先想清楚每个缺失背后的原因，再决定怎么处理。我在实际项目里最大的体会是：缺失值处理的本质不是“补窟窿”，而是“对数据保持诚实”——承认哪些值不完整，保留缺失信息，然后用最符合业务逻辑的方式补齐。这样处理出来的数据，后续建模才经得起检验。
