1. 别急着调参，先搞清楚集成学习到底在补什么短板
集成学习算法这几个字，我在带新人的时候反复强调一点：它本质上是把多个弱判断拼成一个稳判断的方法论，重点在于结构设计，并非某个现成的模型可以随意调包。它的定位通常是把基线模型的方差和偏差分别压一压，然后再把几个视角不同的模型做一次加权合并；指望它开箱即用就让分数起飞并不现实。做结构化数据建模、风控评分、销量预测、点击率预估、甚至一些图像和文本的分类任务，都会遇到它。适合谁看？如果你已经能跑通决策树、逻辑回归、GBDT 这类单模型，但每次换数据划分分数就跳水，或者模型在训练集上漂亮得离谱、上线就崩，那这篇基本就是为你准备的；如果你是纯新手，前两节讲原理的部分也能看懂，后面代码段落可以照着跑一遍。
我先说个自己踩过的坑。早些年做一个用户流失预测的小项目，数据大概八万行、四十来个特征，我拿一棵深度不限的决策树去拟合，训练集 AUC 逼近 0.99，交叉验证只有 0.71，换一次随机种子还能再抖 0.03。当时我以为是特征有问题，查了两天数据泄漏，最后发现纯粹是单棵深树太"敏感"——样本稍微动一点，树的分裂点就整棵换掉，预测边界跟着剧烈摆动。这就是典型的高方差。后来换成几百棵树的随机森林，交叉验证直接稳定在 0.79 上下，波动收敛到 0.005 以内。那一刻我才真正理解集成学习里"平均"两个字的分量。
1.1 用打靶的比喻理解偏差与方差
把模型预测想象成打靶。偏差是弹着点整体偏离靶心的距离，说明模型本身的假设太简单，学不到数据里的规律，比如用一条直线去拟合明显的曲线关系；方差是弹着点自身的散布范围，说明模型对训练样本过于敏感，换一批样本就换一个形状。单棵深决策树是典型的低偏差高方差——它几乎能把训练集完全拟合，但每次拟合出来的形状都不一样。集成学习的两个主要分支，恰好对应这两件事：Bagging 一类通过并行训练多棵互相独立的树再平均，把散布范围压小；Boosting 一类通过串行地在前一轮错误上继续修正，把整体偏离拉回靶心。
这个说法不严谨但足够好用。真正在数学上，泛化误差可以拆成偏差平方、方差、不可约噪声三项，集成能影响的是前两项，噪声部分谁也救不了。所以当你发现数据本身的标签就带大量随机性（比如用户当天心情导致的点击行为），把力气花在集成结构上收益很有限，不如回去补特征或者重新定义标签。
1.2 三条技术路线的边界在哪
我把常见的集成方法归成三类，每类的适用条件和代价完全不同：
| 路线 | 代表方法 | 主要作用 | 训练方式 | 典型代价 |
|---|---|---|---|---|
| 并行式（Bagging 系） | 随机森林、Extra Trees | 降方差 | 各基学习器互不依赖，可并行 | 内存占用高，解释性下降 |
| 串行式（Boosting 系） | AdaBoost、GBDT、XGBoost、LightGBM、CatBoost | 降偏差 | 后一轮依赖前一轮残差 | 调参敏感，训练慢，易过拟合 |
| 元学习式（Stacking 系） | Voting、Stacking、Blending | 融合不同假设空间 | 两层训练，需要折外预测 | 工程复杂度高，易泄漏 |
这里有个关键认知：Bagging 和 Boosting 并不能随便互换。Bagging 的基学习器最好是低偏差高方差的模型，比如完全不剪枝的深树；你要是拿一堆高偏差的线性模型去做 Bagging，平均完还是那个偏差，收益几乎为零。反过来，Boosting 的基学习器应该是弱学习器，深度通常控制在 3 到 8 层，用深度 20 的树去做 GBDT，第一轮就把训练集拟合完了，后面几百轮全在拟合噪声，只会得到一条陡峭的过拟合曲线。
1.3 什么场景我反而不建议上集成
不是所有任务都值得堆集成。第一种情况是强解释性要求：某些业务场景需要给出一份人能逐条核对的决策依据，比如评分卡类的模型，这时候逻辑回归加特征分箱比一堆树的投票好解释得多。第二种是推理延迟敏感：随机森林五百棵树、每棵深度二十，单条预测的耗时是单棵树的几百倍，如果是在移动端做实时判断，这个开销未必划算，得先算清楚 QPS 和单次推理预算。第三种是数据量极小：几百行样本做五折 Stacking，每一折的训练数据只剩几十行，元学习器学到的全是噪声，反而不如老老实实用一个带正则的逻辑回归。
我一般会给自己定个门槛：样本量过万、特征维度在几十到几百之间、允许一定程度的黑盒，这时候集成基本是性价比最高的选择。低于这个规模，先把手上的单模型和特征工程打磨到位，收益往往比换算法大。
2. Bagging 与随机森林：把方差按下去的那条路
2.1 自助采样与袋外估计，白送一次验证
Bagging 的核心动作极其朴素：从原始训练集里有放回地抽同样大小的样本，重复若干次，得到若干份"略有差异"的数据集，每份训一棵树，最后投票或平均。有放回抽样意味着每份新数据集里大约只有 63.2% 的原始样本出现至少一次，剩下的约 36.8% 一次都没被抽到。这个数字的来源是一个极限：当样本量 n 趋于无穷时，(1 - 1/n)^n 收敛到 1/e ≈ 0.368，所以入袋概率约 63.2%。
这个"没被抽到"的部分就是袋外样本（OOB），它对当前这棵树来说是完全没见过的数据。把每棵树的袋外预测收集起来，就能在不额外划分验证集的情况下得到一个近似无偏的泛化误差估计。我在数据量紧张的时候特别爱用这个：设置oob_score=True，训练完直接看oob_score_，和五折交叉验证的结果通常差不到 1 个百分点，但省了一轮训练时间。
注意：OOB 估计在小样本或者基学习器之间高度相关时会偏乐观，别拿它当唯一依据。我的习惯是 OOB 用来快速筛参数，最终定稿还是走一次完整交叉验证。
2.2 随机森林真正的精髓是第二层随机
很多人以为随机森林就是"很多棵决策树做 Bagging"，其实只对了一半。如果只做样本层面的自助采样，当特征里有几个极强的预测变量时，每棵树几乎都会在靠近根节点的地方用上这几个特征，导致所有树的结构高度相似，预测结果也高度相关。一堆高度相关的模型做平均，方差下降的幅度远小于独立模型平均的效果。
随机森林加的第二层随机就是每次分裂时只在随机抽取的一部分特征里挑最优分割点。这一招强制让不同的树关注不同的特征子集，人为地拉低了树之间的相关性。这就是为什么max_features这个参数比n_estimators更值得先调：后者只影响平均的平滑程度，边际收益递减很快；前者直接决定树之间的多样性，调错了整片森林白搭。
经验上，分类任务max_features取特征总数的平方根，回归任务取三分之一，这是文献里的默认建议，但我在实际项目里会围绕默认值上下扫一遍。当特征里有大量强相关冗余变量时，稍微调大一点效果更稳；当特征维度很高（几百上千）而有效特征很少时，调小反而能抑制噪声特征被反复选中。
2.3 参数选择与几个容易忽略的操作细节
我把随机森林的关键参数和实际调法整理了一下：
| 参数 | 含义 | 建议起点 | 调整方向与心得 |
|---|---|---|---|
n_estimators | 树的数量 | 200~500 | 从 100 往上加，看 OOB 分数是否还在涨，一般不超 1000 |
max_features | 每次分裂候选特征数 | 分类取 sqrt(p)，回归取 p/3 | 优先调；冗余特征多时适当调大 |
max_depth | 最大深度 | 不限制 | 尽量放开，让单棵树充分生长，方差交给平均去压 |
min_samples_leaf | 叶节点最小样本数 | 1~5 | 样本噪声大时调大，能明显抑制过拟合 |
min_samples_split | 内部节点最小分裂样本 | 2 | 与上者联动，通常只调一个 |
class_weight | 类别权重 | 依据不平衡程度 | 正负比超过 1:10 时建议设balanced |
有几个细节是我在实际项目里反复验证过的。第一，不要对随机森林做深度剪枝。这跟单棵决策树的思路完全相反：单棵树需要靠剪枝控制方差，而集成本身就是靠平均来控制方差，你把每棵树都剪浅了，等于同时抬高偏差又没充分发挥平均的作用。第二，n_estimators加到一定程度后分数会进入平台期，继续加只增加训练和推理成本，我一般画一条"树数量—OOB 分数"的曲线，找到拐点后往上留 30% 余量就停。第三，特征重要性有两种算法，基于不纯度下降的那种会偏向高基数特征（比如连续变量和取值多的类别变量），用置换重要性（permutation importance）更靠谱，虽然慢一些，但在做特征筛选时我基本只用后者。
还有一个容易忽视的点：随机森林的输出概率是"投票比例"，天然偏向多数类，且分布不够平滑。如果你的下游要用概率值做排序或设阈值，别直接用predict_proba的原始输出，做一次 Platt 缩放或者等距回归校准，排序的稳定性会好不少。
3. Boosting 家族：一轮一轮把残差啃下来
3.1 AdaBoost 的样本权重到底在算什么
Boosting 的思路和 Bagging 完全相反：它不追求基学习器之间独立，而是让后面的模型专门盯着前面做错的样本。AdaBoost 是最早把这个想法形式化的方法——每轮训练结束后，把分错的样本权重调高、分对的调低，下一轮在这个加权的数据上再训一个弱分类器。同时每个弱分类器有一个话语权系数，错误率越低，话语权越大，公式是 α = 0.5 · ln((1 - e) / e)，其中 e 是该分类器的加权错误率。
这个公式值得盯两眼：当 e = 0.5（跟瞎猜一样）时，α = 0，这个分类器直接被无视；当 e 趋近 0 时，α 迅速增大。它保证了每一轮加入的新成员都是"有信息量的"，而不是来捣乱的。最终预测是所有弱分类器的加权投票。
我对 AdaBoost 的感情比较复杂。它在干净数据、二分类、弱分类器是决策树桩（深度为 1）的场景下表现非常漂亮，训练快、几乎不用调参。但它对噪声标签和离群点极其敏感：一个被标错的样本会被反复加权，后面几十轮全在死磕这一个点，模型被拖偏。所以我在真实业务数据上很少直接用它，更多是拿它当教学示例来理解 Boosting 的机制。
3.2 GBDT 用负梯度代替残差的直觉
GBDT 的思路可以这么理解：它把整个模型看成一个加法模型，每一轮新加一棵树，目标就是让整体损失再降一点。当损失是平方误差时，最优的下降方向恰好就是残差（真实值减预测值），所以早期资料都说 GBDT 在"拟合残差"。但换成其他损失函数（比如对数损失、Huber 损失），残差这个概念就不成立了，统一的做法是沿损失函数的负梯度方向走。
用生活化的说法：你在下山，每一步不需要知道山有多高，只需要知道脚下往哪个方向是下坡。负梯度就是那个下坡方向，每棵树拟合的是"当前模型还差多少"这个方向上的分量。这也是 GBDT 能适配各种损失函数的原因——只要损失可微，就能算出负梯度。
学习率（shrinkage）在这里的作用是给每一步打个折扣，每棵树的输出乘以一个小于 1 的系数再加到总模型上。直觉上就是步子迈小一点，多走几步，泛化更稳。这个参数的取舍非常直接：学习率减半，树的数量大致要翻倍，训练时间线性增加，但精度通常能提一点。我一般的做法是先用 0.1 跑通流程看效果，如果还有明显提升空间再降到 0.05 甚至 0.02，同时把树的数量上限提到几千并配合早停。
3.3 三大主流实现的工程取舍
这三个框架我都长期用过，各自的取舍非常鲜明：
| 维度 | XGBoost | LightGBM | CatBoost |
|---|---|---|---|
| 分裂策略 | 预排序 + 近似分位点 | 直方图 + leaf-wise | 对称树（oblivious tree） |
| 训练速度 | 中等 | 快，尤其大样本高维 | 中等，GPU 下明显加速 |
| 内存占用 | 较高 | 低 | 中等 |
| 类别特征 | 需手动编码 | 原生支持（需注意过拟合） | 原生支持，效果最稳 |
| 小数据表现 | 稳 | 容易过拟合，需调小叶子数 | 稳 |
| 我的常用场景 | 中小规模、需要精细控制正则 | 大规模、需要快速迭代 | 类别特征多、样本量中等 |
LightGBM 的 leaf-wise 生长策略是它的速度来源，也是它的坑：每次挑增益最大的叶子继续分裂，容易长出很不平衡的深枝，在小数据上过拟合明显。所以用它的时候我会同时设num_leaves（一般不超过 2 的深度次方）和min_child_samples（小数据上可以设到 20 以上），再加max_depth兜底。CatBoost 的对称树结构约束更强，反而在小数据上不容易翻车，而且它对类别特征的处理用的是有序目标统计量，能在一定程度上避免目标泄漏，这一点在类别取值很多的时候特别好用。
XGBoost 的正则项设计我觉得最值得学：它在目标函数里显式加了叶子数量和叶子权重的惩罚项，把"树的复杂度"直接写进了优化目标里，这也是它比原始 GBDT 更抗过拟合的核心原因。理解了这一层，你就明白gamma、lambda、alpha这几个参数不是玄学——它们分别对应"分裂至少要带来多少增益才允许"、"叶子权重平方和惩罚"、"叶子权重绝对值惩罚"。
3.4 调参顺序：按依赖关系排，不能乱
调参这件事最怕乱试。我的固定顺序是这样，每一步都基于上一步的结果：
- 先定学习率和树数量的组合。学习率设 0.1，树数量给个很大的上限（比如 3000），用早停让验证集自己决定停在哪一轮。记下最优轮数。
- 再调树的复杂度。
max_depth或num_leaves配合min_child_weight/min_child_samples。逻辑是：先放开一点看会不会过拟合，再用最小叶样本数把过拟合压回去。 - 然后加正则。
lambda（L2）、alpha（L1）、gamma（分裂最小增益）。这三个通常只需要小幅度调整，作用是把已经不错的模型再稳一稳。 - 最后调采样。
subsample（行采样）和colsample_bytree（列采样），一般设在 0.7~0.9 之间，能同时提速和抑制过拟合。
一个很实用的技巧：调完一轮之后，把学习率减半、树数量上限翻倍，重新跑一次早停。如果验证集分数没有再提升，说明当前结构已经到瓶颈了，继续调树的参数意义不大，该回去做特征了。
4. Stacking 与 Voting：把不同视角的模型缝起来
4.1 投票法：简单但别小看
Voting 是最轻量的集成，把几个模型的预测结果做汇总。硬投票是看类别票数，谁多算谁；软投票是把各模型的预测概率取平均，再选概率最大的类。我的经验是软投票几乎总是优于硬投票，因为它保留了置信度信息——三个模型里两个用 0.51 的概率猜 A、一个用 0.95 的概率猜 B，硬投票会选 A，软投票会选 B，而后者往往才是对的。
加权软投票更进一步，给每个模型一个权重。权重的确定方法我一般不去网格搜索（组合爆炸太狠），而是用各模型在验证集上的表现做个简单的归一化，或者用逻辑回归在验证集上学一组权重。这里有个必须注意的点：权重必须在独立的验证集上学，不能在看过的数据上定，否则就是在验证集上过拟合。
4.2 Stacking 的关键全在折外预测
Stacking 是两层结构：第一层训若干个不同的基模型，第二层用一个元学习器（通常是很简单的模型，逻辑回归或小深度的树）去学"该在什么情况下相信哪个基模型"。听起来很美好，但九成的翻车都出在一个地方：训练元学习器用的特征必须是折外预测，不能用基模型在训练集上的预测。
原因很直白：基模型在它见过的数据上预测会非常准（尤其树模型能到 0.99），元学习器看到这种"几乎全对"的特征，会学出一套极度自信的权重，一上验证集立刻崩盘。正确做法是 K 折交叉：把训练集切 K 份，每次用 K-1 份训基模型、对剩下 1 份做预测，K 轮拼起来刚好覆盖整个训练集，得到的就是折外预测。元学习器在这个折外特征上训练，才和推理时的分布一致。代码大概长这样：
import numpy as np from sklearn.model_selection import StratifiedKFold from sklearn.linear_model import LogisticRegression def build_oof_features(base_models, X, y, n_splits=5, random_state=42): """返回折外预测矩阵和训练好的基模型列表""" skf = StratifiedKFold(n_splits=n_splits, shuffle=True, random_state=random_state) oof = np.zeros((X.shape[0], len(base_models))) fitted = [[] for _ in base_models] for fold, (tr_idx, va_idx) in enumerate(skf.split(X, y)): X_tr, X_va = X.iloc[tr_idx], X.iloc[va_idx] y_tr = y.iloc[tr_idx] for i, model in enumerate(base_models): m = model.__class__(**model.get_params()) m.fit(X_tr, y_tr) oof[va_idx, i] = m.predict_proba(X_va)[:, 1] fitted[i].append(m) return oof, fitted训练完之后，元学习器在oof上学，预测时把各基模型在全量训练集上重训的版本对测试集做预测，拼成同样的特征矩阵喂给元学习器。这个"重训"步骤很多人会漏掉，直接用 K 折里的某一份模型去预测测试集，结果和训练时的分布对不上。
4.3 Blending 与 Stacking 的取舍
Blending 是 Stacking 的简化版：不搞 K 折，直接把训练集切成两部分，一部分训基模型，另一部分做预测来训元学习器。好处是实现简单、不容易泄漏；坏处是浪费了一部分训练数据，且元学习器只在很小的数据上训练，方差大。我在样本量上万的时候更倾向 Stacking，样本量只有几千的时候用 Blending 更稳。
还有一个我自己的经验：Stacking 的收益和基模型的差异性正相关。你拿三个参数略有不同的 LightGBM 去做 Stacking，收益基本为零，因为它们犯的错几乎一样。真正有效的是把假设空间差别很大的模型放一起，比如一个线性模型、一个树集成、一个最近邻或者一个简单的神经网络。它们对同一条样本的判断依据完全不同，元学习器才有东西可学。
5. 一套可以直接照着跑的完整流程
5.1 数据准备与基线
我拿一个结构化的二分类任务来演示，数据规模假设是两万行、三十个特征，其中五个是类别特征。第一步永远是搭一个朴素基线，用来判断后面所有复杂的模型是否真的带来了增量。
import pandas as pd import numpy as np from sklearn.model_selection import train_test_split, StratifiedKFold, cross_val_score from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import roc_auc_score X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, stratify=y, random_state=42 ) # 基线一：单棵决策树，不剪枝 tree = DecisionTreeClassifier(random_state=42) scores = cross_val_score(tree, X_train, y_train, cv=5, scoring="roc_auc") print(f"单棵深树 AUC: {scores.mean():.4f} ± {scores.std():.4f}")跑完通常会看到类似 0.74 ± 0.03 的结果——均值不高、方差还不小，这就是"高方差"最直白的证据。接下来换随机森林：
rf = RandomForestClassifier( n_estimators=400, max_features="sqrt", min_samples_leaf=3, oob_score=True, n_jobs=-1, random_state=42, ) rf.fit(X_train, y_train) print(f"OOB 分数: {rf.oob_score_:.4f}") print(f"测试集 AUC: {roc_auc_score(y_test, rf.predict_proba(X_test)[:, 1]):.4f}")按我的经验，同样的数据上随机森林能到 0.80 左右，而且交叉验证的波动会收敛到 0.008 以内。这一步的收益几乎全部来自方差的下降，不需要任何精巧的调参。
5.2 提升模型：早停是把控过拟合的开关
接下来上 LightGBM。我会先划出一块独立的验证集专门用于早停，而不是用交叉验证里的验证折——因为早停本身就是在用验证集做决策，再用同一份数据评估会偏乐观。
import lightgbm as lgb X_tr, X_val, y_tr, y_val = train_test_split( X_train, y_train, test_size=0.2, stratify=y_train, random_state=42 ) params = { "objective": "binary", "metric": "auc", "learning_rate": 0.05, "num_leaves": 31, "min_child_samples": 20, "feature_fraction": 0.8, "bagging_fraction": 0.8, "bagging_freq": 1, "lambda_l2": 1.0, "verbosity": -1, "seed": 42, } dtrain = lgb.Dataset(X_tr, y_tr) dval = lgb.Dataset(X_val, y_val, reference=dtrain) model = lgb.train( params, dtrain, num_boost_round=3000, valid_sets=[dval], callbacks=[lgb.early_stopping(100), lgb.log_evaluation(200)], ) print(f"最优迭代轮数: {model.best_iteration}")这里有几个参数值的来历值得说清楚。num_leaves=31对应的是深度约 5 的完全二叉树（2^5 - 1 = 31），这是 LightGBM 的默认值，也是我判断"当前模型复杂度是否合适"的锚点——如果你把num_leaves调到 128，相当于允许深度 7 的树，小数据上大概率过拟合。min_child_samples=20意味着一个叶子至少要有 20 个样本才允许生成，这是压制 leaf-wise 生长乱窜最直接的手段，样本量越小这个值要越大。early_stopping(100)是连续 100 轮验证集指标没有提升就停，这个耐心值我一般设在 50 到 200 之间：太小会在指标抖动的谷底误停，太大浪费时间。
还有个小细节：早停拿到的best_iteration之后，最终模型要用全部训练数据、以这个轮数重新训一遍，而不是直接用早停那次的模型，因为后者少用了 20% 的数据。这一步经常被忘掉，白白损失一点精度。
5.3 融合：从软投票到 Stacking
有了随机森林和 LightGBM 两个模型，先试最轻的软投票：
from sklearn.ensemble import VotingClassifier voting = VotingClassifier( estimators=[("rf", rf), ("lgbm", lgb_wrapper)], voting="soft", weights=[1, 2], )权重 1:2 是我按两者在验证集上的 AUC 差距估的，LightGBM 通常比随机森林高两三个千分点，给它双倍权重。这个权重不需要精细搜索，粗调即可，收益曲线在这个范围内很平。
再往上走就是 Stacking。我一般会用三类基模型：逻辑回归（线性视角）、随机森林（Bagging 视角）、LightGBM（Boosting 视角），元学习器用带 L2 正则的逻辑回归，C设在 1.0 左右。元学习器一定要简单，用复杂的模型去学那几个概率特征，等于把前面辛苦控制的方差又加回来了。
实测下来，在差异化的基模型组合下，Stacking 相对最好的单模型通常能提 0.5 到 1.5 个百分点。别指望更多——如果某个组合给你提了五个点，先怀疑是不是折外预测做漏了、发生了泄漏。
5.4 结果解读：别只看一个数字
跑完整个流程，我习惯把结果整理成一张对照表，同时记录训练耗时和推理耗时，因为选型从来不是只看精度：
| 模型 | 验证集 AUC | 测试集 AUC | 训练耗时 | 单条推理耗时 |
|---|---|---|---|---|
| 单棵深树 | 0.742 | 0.735 | 0.3s | 0.01ms |
| 随机森林（400 棵） | 0.803 | 0.798 | 12s | 0.8ms |
| LightGBM（早停） | 0.826 | 0.821 | 25s | 0.02ms |
| 软投票（1:2） | 0.831 | 0.827 | 38s | 0.9ms |
| Stacking（三类基模型） | 0.838 | 0.829 | 90s | 1.1ms |
这张表里有个值得注意的现象：Stacking 在验证集上比软投票高 0.7 个点，但测试集只高 0.2 个点，说明这点增益有一部分是拟合验证集带来的。所以我定稿的时候会看测试集那一列，而不是验证集。另外 LightGBM 的推理耗时反而比随机森林低两个数量级，这是很多人会忽略的：树的棵数少、深度浅，单次推理只需要走几十次判断，而随机森林四百棵树的遍历开销大得多。如果线上对延迟敏感，Boosting 系的性价比其实更好。
特征重要性也值得看一眼。我一般取 LightGBM 的 gain 重要性排序，重点看两件事：一是有没有明显不该出现的特征排在前面（这往往意味着数据泄漏），二是有没有一批特征的重要性加起来不到 5%（可以考虑砍掉，简化模型）。如果发现某个特征单独就贡献了 40% 的重要性，我会去查它的分布和采集逻辑，这种极端集中通常不是好事。
6. 常见问题与排查实录
6.1 训练集 0.99，验证集 0.6，问题出在哪
这是最高频的问题。我的排查顺序是固定的，从成本最低的开始：
先看数据泄漏。检查有没有在划分训练测试集之前做了全局的标准化、填充或者目标编码。这类错误极其隐蔽，我有一次把目标编码写在划分之前，验证集 AUC 冲到了 0.97，高兴了半天，后来发现是编码时用到了测试集的标签信息。
再看样本重复。同一个实体在训练集和验证集里各出现一次，模型相当于背答案。做法是先按实体 ID 去重，再按 ID 分组划分，而不是随机划分行。
最后才是模型本身过拟合。这时候的处置是降复杂度：树的数量减半、num_leaves或max_depth砍到原来的三分之一、min_child_samples加大、正则项加上去，同时把学习率降下来。这个顺序很重要——先怀疑数据，再怀疑模型，因为数据问题靠调参是救不回来的。
6.2 集成之后反而不如单模型
遇到这种情况，我一般从三个角度查。第一，基模型之间太像了。如果你 Stacking 的几个模型在同一批样本上错得一模一样，元学习器学不到任何东西，反而因为多一层拟合引入方差。解决办法是换假设空间差别大的模型，或者干脆只用单模型。
第二，元学习器太复杂。用一棵深树或者一个 GBDT 去当元学习器，在只有几个概率特征的情况下几乎是必然过拟合。换成带正则的逻辑回归，或者干脆用固定权重的软投票。
第三，样本量太小。Stacking 的每一折训练数据只有原来的 (K-1)/K，再分出一部分给元学习器，实际用于训练基模型的数据可能只剩六成。样本量在几千以下时，我基本不用 Stacking。
6.3 训练慢、内存爆掉怎么办
LightGBM 在大样本上内存占用高，通常是因为特征维度太大。我的几个常规动作：把feature_fraction降到 0.6~0.7，把稀疏特征转成稀疏矩阵格式，把max_bin从默认的 255 降到 127（精度损失很小，内存和速度收益明显）。随机森林那边，n_jobs=-1开满并行是基本操作，但要注意内存是按核数翻倍的，核多的时候反而要限制并行数。
还有一个容易被忽略的点：bagging_fraction设成 0.8 配合bagging_freq=1，不仅抑制过拟合，还能让每轮训练的数据量减少 20%，速度提升立竿见影。这是我调参时最先动的几个开关之一。
6.4 线下涨了，线上反而掉了
这类问题一般不是算法的问题。我会按下面的顺序查：训练时的特征计算逻辑和线上是否完全一致（尤其是时间窗口类的统计特征，线下用全量算、线上用滑动窗口算，分布完全不同）；模型文件的版本和特征处理的版本是否匹配；阈值的设定是否还是按旧的分数分布定的。集成模型输出的概率分布和单模型往往有系统性偏移，如果下游是按固定阈值做决策的，换模型之后必须重新校准阈值，这一条我吃过不止一次亏。
6.5 问题速查表
| 现象 | 最可能的原因 | 首选处置 |
|---|---|---|
| 训练集极高、验证集低 | 数据泄漏 / 样本重复 / 模型过复杂 | 先查特征计算管线，再降模型复杂度 |
| 交叉验证波动大 | 单模型方差高 / 样本量不足 | 换 Bagging 系或增加折数 |
| 集成不如单模型 | 基模型同质化 / 元学习器过复杂 | 换差异化基模型，元学习器改线性 |
| 早停轮数极小（<50） | 学习率过大 / 数据噪声大 | 学习率减半，加大最小叶样本数 |
| 特征重要性集中在单一特征 | 潜在泄漏或该特征为事后信息 | 核查该特征的采集时点 |
| 概率输出分布异常 | 未做概率校准 | 用等距回归或 Platt 缩放校准 |
最后分享一个我在实际项目里养成的习惯：每次上集成之前，先花十分钟把单模型的错例捞出来看五十条，人工判别一下这些错误是"模型能力不够"还是"信息本身就不在特征里"。前者集成能救，后者堆多少棵树都没用。我见过太多人一上来就把五六个模型 Stacking 起来，结果回头一看，问题出在标签定义本身就有歧义。集成学习是一把很好用的工具，但它解决的是"如何在已有信息下把判断做得更稳"，不是"如何凭空造出不存在的信息"。这个边界想清楚了，选型和调参的路会短很多。
