模型上线后预测效果悄悄变差，大部分情况下都不是模型本身算错了，而是喂给它的数据和训练时不一样了。数据漂移（Data Drift）听起来是个学术词，落到现实里就是你辛辛苦苦调出来的模型，在测试集上跑得很好，一到真实场景就开始“翻脸不认人”。这两年我在好几个项目里被这个问题折腾过，回头总结出一个习惯：在建模流程里加一道特征层面的分布检查，用featexp把训练集和测试集的差异摊开来看，很多隐患可以在上线前就被拦住。这篇文章就围绕这个题目展开，讲清楚什么是数据漂移、为什么训练集和测试集分布差异值得专门检查，以及怎么用featexp快速定位有问题的特征。
这篇文章适合正在做风控、营销、推荐这类业务的数据分析师，也适合所有被“线上效果不稳定”折磨的机器学习工程师。看完之后你至少能回答三个问题：手上的特征到底变没变？变了之后对模型影响有多大？下一步是该删特征、重训练，还是重新采集数据。
1. 先搞清一个问题：训练集和测试集的分布差异，到底会带来什么后果
很多团队其实根本没有认真检查过训练集和测试集的分布差异。大家默认“随机切分”就能代表未来，或者干脆只关注AUC、F1这些指标。但分布差异不是“统计上不好看”那么简单，它是一个会在生产环境里慢慢侵蚀模型效果的真实过程。
1.1 一次让我印象深刻的线上事故
去年我在参与一个内容推荐系统项目时，离线训练阶段模型表现很好，AUC稳定在0.78左右，测试集上的各项指标也都正常。可模型上线后的第三天，点击率直接掉了三分之一。一开始所有人都在怀疑排序策略出了问题，花了大量时间调线上参数，完全没效果。
后来我们拉出线上日志，把所有特征都做了分布对比，才发现问题出在一个很不起眼的特征上：用户过去7天对该类目内容的点击次数。这个特征在训练集里的分布整体偏小，均值大概在2.5左右，但上线以后，因为客户端改版导致曝光量剧增，这个值的中位数直接翻了三倍。模型在训练时学到的“点击次数高就是高意愿”这个规律，在线上变成了“点击次数普遍偏高”，于是大量中低意愿用户被误判成高意向人群。
这件事让我彻底明白：训练集和测试集分布差异不是理论问题，它是会让业务直接损失的真问题。而等到线上出问题再去排查，往往已经晚了。
1.2 为什么分布差异很难提前看穿
训练集和测试集分布不一致的原因很多，常见的有三类。第一类是时间变化，比如用户的消费习惯随季节变化、商品价格随市场波动，这些都会让特征自然漂移。第二类是采样偏差，比如训练数据来自某个渠道的日志，而测试数据可能混合了其他渠道的样本，两个渠道的用户画像本来就不同。第三类是特征工程不一致，比如训练时用的缺失值填充规则和生产环境不一致，或者某个统计窗口的计算口径悄悄变了，这类问题最隐蔽，因为它属于代码层面的bug，不是数据自然变化。
问题是，单靠肉眼看两个数据集的均值、方差，几乎不可能发现上述问题。特征一多，一个特征的小幅漂移很快淹没在几百列数据里。更麻烦的是，很多情况下测试集是手动挑选的，它反映的是建模那一刻的分布，而不是真实上线后的分布。
1.3 常规检验手段为什么不够用
我以前也试过用KS检验、PSI指数去监控特征漂移。这些方法确实能告诉你两个分布“是否不同”，也能给出一个数值，但你拿着这个数值回到业务里去解释时，很容易卡住：一个特征KS值很大，到底该不该删？如果它和目标变量的关系很强，删了模型效果会下降；如果不删，它又在漂移，很可能在线上引入风险。
这就是传统检验办法的盲区：它只管“分布有没有变”，不管“这个变化对模型意味着什么”。分布变了不一定是坏事，也不一定是好事，关键要看这个特征和目标变量的关系是否同步发生变化。在这件事上，工具本身是否足够贴近建模决策，比“检验是否显著”重要得多。
2. featexp的核心思路：把漂移变成一个能指导建模决策的报表
我第一次接触featexp是在一个开源工具列表里，当时以为它只是一个画图工具，实际用下来才发现，它把“数据漂移检测”“特征目标关系分析”“特征筛选”这几件事揉在了一起。它不会只给你一个冷冰冰的P值，而是给你一组可以直接用来做决策的图表和指标。
2.1 featexp到底做了什么
featexp本质上是一个针对单特征做探索性分析的Python库。它的核心动作很简单：把每个连续特征划分成若干个分箱（bin），然后分别统计训练集和测试集在每个分箱中的样本比例。接着再把目标变量的均值也按同样的分箱画出来，这样你就能在一张图里同时看到两个信息：特征分布形状有没有变化，以及特征在不同区间上对目标变量的解释能力有没有变化。
配合这个可视化过程，featexp会输出一系列统计指标，包括特征均值差、PSI、相关性、相关性变化等。它把所有特征的结果汇总成一个表，你可以一眼看出哪些特征需要重点关注。与手写检验脚本不同，它特别强调“目标变量”这个维度，这正是建模人员最关心的点。
2.2 特征分箱和目标均值，为什么是关键
分箱是漂移分析的基础。原始特征值往往噪声很大，有的特征分布极不均衡，直接比较所有样本的均值容易掩盖局部变化。分箱之后，每个箱内的样本更纯净，比较起来更稳定。
打个比方，你观察一座城市的人口年龄结构。如果只看全市平均年龄，你很难发现某个区域突然涌入大量年轻人；但如果把城市按行政区划分区看，变化就非常明显。特征分箱就是把这个“行政区”的概念引入特征分析。featexp默认把特征分成10个箱，每个箱覆盖约10%的样本，然后对比训练集和测试集在同一箱上的比例。
目标均值曲线解决的是另外一件事：特征分布变了，不代表模型的预测逻辑变了。比如一个“年龄”特征，训练集和测试集的年龄分布都变了，但如果每个年龄段的购买率曲线还是和训练时一致，那模型还能继续用。真正危险的是，特征分布没怎么变，但目标均值曲线彻底反转，这意味着旧规律失效了。
2.3 和手写PSI脚本相比，它的优势在哪里
我早期监控漂移时写过一套PSI脚本，核心是根据训练集分箱边界，统计测试集落到每个箱的比例，再把比例差换算成PSI值。这个脚本本身没问题，但它只能输出一个数值，遇到几十个特征同时漂移时，我还是要手动去看每个特征的分布图，效率很低。
featexp把这套流程集成在了一起，几行代码就能跑完所有特征。它还会用颜色、条形图、均值标记等方式把变化直观呈现出来，省去了我人工筛选异常特征的大量时间。更重要的是，它可以按“和目标变量的相关关系”来排序，让我优先处理那些真正影响模型输出的特征，而不是被一批无关紧要的漂移干扰判断。
3. 动手实操：用featexp给训练集和测试集做一次全面体检
理论说再多，不如上手跑一遍。这一节我会从环境准备开始，给你一套可以直接复制的代码，然后解释怎么看结果、怎么定位风险特征。
3.1 环境准备和数据格式
featexp是一个Python第三方库，安装非常简单。需要说明的是，它依赖pandas、numpy、matplotlib这些基础库，所以建议在已经装好科学计算环境的虚拟环境里安装，避免依赖冲突。
数据格式是这样的：你需要一个DataFrame，每一行是一个样本，每一列是一个特征，另外有一列是目标变量。在分类任务里，目标变量通常是0/1二分类；如果是回归任务，也可以传给featexp，它会按目标均值来分析，但使用体验上更偏向二分类场景。
在使用之前，有几个数据清洗要求要注意。第一，测试集和训练集必须包含完全相同的特征列，如果特征没有对齐，会直接报错或者出乱图。第二，缺失值处理要提前做，我自己习惯用均值填充或中位数填充，确保训练集和测试集用的是同一套填充规则。第三，分类变量不能直接当作字符型传入，需要先转换成数值编码，比如用LabelEncoder或映射字典。
3.2 最小可运行代码
下面是一个最小可运行示例。我模拟了一份用户留存预测数据，train代表训练集，test代表测试集，target取0或1。
import pandas as pd from featexp import get_univariate_results # 假设你已经准备好 train 和 test train = pd.read_csv("train.csv") test = pd.read_csv("test.csv") # 需要检查的特征，可传入列表 features = ["age", "active_days", "total_orders", "last_login_gap", "member_level"] # 核心调用 stats_df, plots = get_univariate_results( data=train, target="target", features=features, test_data=test, num_bins=10, min_bin_size=100, ) # 输出每个特征的统计汇总表 print(stats_df)不同版本的featexp对参数名会有一点调整，比如有的版本用bins而不是num_bins，有的还需要显式传入categorical_features。我建议第一次使用时先打印一下函数签名：help(get_univariate_results)，确认参数名后再跑。这个小动作能帮你省掉很多调参时间。
3.3 看懂返回的结果和四类特征画像
运行完成后，featexp会为每个特征生成一张图，并返回一张汇总表。你需要关注的字段一般包括：
- 特征名：当前检查的特征。
- 均值差：训练集和测试集在该特征上的均值差异，绝对值越大说明整体偏移越明显。
- PSI：群体稳定性指数，PSI越小越好，通常小于0.1视为稳定，0.1到0.25需要警惕，大于0.25则说明分布变化很大。
- 相关性：特征与目标变量在训练集上的相关性。
- 相关性变化：测试集和训练集在该特征与目标变量关系上的差异，变化越大说明特征的解释力越不稳定。
结合分布图和目标均值图，可以把特征分成四类：
第一类是“分布稳定、目标关系稳定”的健康特征。这样的特征可以放心留在模型里，也是最重要的信号特征。第二类是“分布漂移、但目标关系稳定”。分布变了，但每个分箱里的目标均值曲线形状没变，说明模型学到的逻辑仍然适用，不过数据覆盖范围可能发生变化，建议关注重训练时机。第三类是“分布稳定、但目标关系变化”。这往往意味着业务环境变了，同一个特征值对应的转化率已经不同，这是最容易被传统PSI方法漏掉的危险情况。第四类是“分布和目标关系同时变化”，这类特征基本可以认定为高风险，要么删除，要么用最新数据重新训练模型。
3.4 如何确定哪些特征是真正的风险项
实际项目里一次要跑几十甚至上百个特征，如果每个特征都打开图片去看，根本看不过来。我的做法是先用汇总表排序，筛选出PSI大于0.1或者相关性变化超过阈值的特征，再针对这些特征打开具体的分布图。
结合业务理解也很重要。比如某些特征的漂移是周期性造成的，像周末流量、节假日消费金额，这些即使PSI偏高也不见得是坏事。真正需要紧张的是那种没有业务先兆、突然变化的特征，尤其是与用户行为、金额、频次直接相关的强特征。特征漂移是否危险，不能只看统计量，还要看它背后有没有可解释的业务原因。
4. 拿到漂移结论之后：从分析到模型维护的完整动作
分析不是终点，拿到featexp的结果之后，你得知道怎么把这些发现落到模型迭代里。这一节讲三条处理路径，以及我建议的落地方式。
4.1 漂移特征的三条处理路径
对于已经被判定为高风险的特征，通常有三条路可以走。第一条路是直接从模型里删掉。如果该特征与目标的训练集相关性本身就低，只是偶然出现在特征列表里，删除它可以降低模型复杂度，减少上线后的不确定性。第二条路是保留特征，但要缩短模型重训练的周期，比如原本一个月更新一次，现在改成一周一次，用最新数据把漂移吸收进模型。第三条路是回到数据生产端，去检查特征计算逻辑是不是出了问题，尤其当特征漂移是由特征工程口径不一致引起时，修复源头比在模型侧修修补补更有效。
选择哪条路，主要看特征的重要性和漂移速度。一个高重要性的特征发生大幅漂移，你不能简单删除，否则模型效果会骤降，这时候更适合重训练或者做分群建模；一个低重要性特征漂移得再厉害，直接忽略或者删除即可，不必耗费精力。
4.2 把featexp放进建模流水线
我通常会在两个环节跑featexp。第一次是在特征工程完成之后、正式训练之前，用来检查训练集和测试集的分布一致性，发现问题特征就提前处理。第二次是在模型上线前，用一份接近线上分布的近期数据作为验证集，再跑一遍featexp，专门验证该模型是否还能适应当前环境。
这个流程看起来多花了几分钟，但能提前避免很多上线后的问题。你可以把它写成一个独立的检查脚本，在每次数据刷新或特征更新后自动执行。输出结果除了打印汇总表，最好保存成CSV，方便对比不同时期的漂移趋势。某天你发现某个特征的漂移程度逐月在增大，你就能提前准备重训练计划，而不是等指标跌了才开始排查。
4.3 用时间序列切出的测试集，判断标准要放宽
很多场景下，训练集和测试集不是随机切分，而是按时间切分。比如模型用1月到6月的数据训练，用7月的数据测试。这样切出来的测试集其实代表的是未来样本，特征分布天然存在一定漂移，因为两个时间段的市场环境、用户构成多少会有些不同。
这种情况下，不宜用统一的PSI阈值去卡所有特征。我会把特征分成两组来看：一组是“时间无关特征”，比如用户性别、注册渠道，这些理论上不应该剧烈变化；一组是“时间敏感特征”，比如消费金额、活跃天数、距离上次访问间隔，这些本身就会随用户生命周期变化。时间敏感特征的漂移阈值可以放宽，但一旦时间无关特征发生漂移，就一定要重点检查。
5. 实际项目里踩过的坑和对应的排查经验
再好的工具，拿到真实数据里都会遇到各种意外。这一节分享几个我实际踩过的坑，后面再给你整理一个快速排查表，方便出问题时对照查。
5.1 坑一：分类变量没处理成数值
我第一次用featexp分析一个包含“用户等级”的特征时，因为等级是字符串形式，直接传入后图出来全是乱的，分箱逻辑也完全不对。后来才知道featexp按数值特征来分箱，字符型数据需要先映射成数值。做法很简单，用pandas的astype("category").cat.codes转一下就行。不过要特别小心，训练集和测试集必须用同一套映射，否则“高级用户”在训练集变成3、在测试集变成1，分布对比就没有意义。
5.2 坑二：缺失值处理和训练不一致
有一个项目里，训练集某个特征缺失率是20%，测试集缺失率却只有5%。模型训练时用均值填充了训练集的缺失值，而测试集大部分都有值，导致填充出来的分布和训练时完全不同。这个变化会被featexp当成漂移显示出来，实际上就是特征管道的问题。后来我规定所有缺失值处理逻辑必须写成一个公共函数，训练集和测试集统一调用，绝不在一个数据集里单独处理。这一步虽然简单，但能排除掉大量假漂移。
5.3 坑三：特征相关性变化比整体分布漂移更值得关注
只看PSI容易漏掉一类重要风险：特征分布完全没变，但特征与目标变量的关系已经变化。我碰到过一个“注册时长”的特征，训练集和测试集的分布高度一致，但用户对这个产品的接受度在半年里发生了明显变化，同样注册时长的用户，转化率却比训练时低了很多。如果只看PSI，这个特征会被判定为“稳定”，可实际上它对模型输出已经产生了错误引导。
所以我现在每次分析漂移时，除了看分布差异，一定还会看目标均值曲线。曲线形状变了，就是你的业务规则变了，这比任何统计检验都更能说明问题。
5.4 常见疑惑快查表
| 现象 | 可能原因 | 用featexp怎么查 |
|---|---|---|
| 某个特征PSI很高 | 特征分布漂移，可能因为时间变化或口径调整 | 打开该特征分布图，看漂移集中在哪个分箱 |
| 分布没变但模型效果下降 | 特征与目标关系变化 | 看目标均值曲线是否和训练集有差异 |
| 很多特征同时漂移 | 数据源变了、采样规则变了或业务环境整体变化 | 看汇总表里漂移特征占比，先查公共原因 |
| 只有个别特征漂移 | 该特征计算逻辑或缺失值处理不一致 | 对照特征工程代码，重点检查填充和统计窗口 |
| 图上分箱数量异常少 | 特征有效样本太少或缺失值过多 | 检查清洗逻辑，适当增加min_bin_size参数 |
只要按照这个表格去定位，绝大多数分布问题都能快速找到方向。
6. 一点个人体会
featexp并不是什么复杂的框架，它解决的也只是一个非常具体的问题：训练集和测试集之间的分布差异到底值不值得你紧张。但它最大的价值是改变了我的工作习惯。以前我在项目里讨论“效果为什么下降”，大家只能靠猜测；现在我会直接打开一张特征分布图，指着某个分箱说：“这个特征的分布已经偏移了，而且和目标变量的关系也变了，必须重新处理。”这种基于证据的讨论方式，比任何优化技巧都更能提升团队效率。
如果你现在正被线上效果不稳定困扰，我的建议很简单：不要急着换模型、调参数，先把训练集和上线后的近期数据跑一遍featexp，找到真正漂移的特征再说。很多时候，数据变了才是模型失效的根因。
