简介：随机森林算法的Python实现资料包，面向希望通过实际代码理解随机森林原理的数据分析与机器学习初学者，也可用作课程实验的参考。压缩包内共有4个文件，包含两份Python脚本、一份CSV格式的sonar数据集，以及一份txt阅读说明，整体大小仅34KB，轻量易获取。两份代码中一份来自网络整理，一份由作者自行编写，均带详尽中文注释，并已在Python2.7环境下调试通过，可对照运行以比较两种实现思路与代码风格。数据集规模较小，适合快速跑通建模与预测流程；读者可以自行调整随机森林的树数量、最大深度等参数，观察正确率变化，加深对算法调参的理解。目前已有15738人浏览学习，作为轻量级入门配套资源，能帮助读者从代码层面直观认识随机森林的工作过程。
1. 随机森林：一个不那么玄学的黑匣子
处理表格数据时，我几乎默认首选随机森林。不是因为它比深度学习高级，而是它在不太折腾特征工程的情况下能给出一条能用的基线，而且几乎不挑数据——数值型、类别型、缺失值它都能扛一部分。很多人说它是黑匣子，但真正拆过代码之后会发现，它的决策路径、特征重要性和参数影响都是可追溯的。这份资源包含完整的Python实现代码和配套数据集，覆盖从分类到回归的完整流程，能直接对照着跑。适合刚装好pandas和sklearn、想用真实数据把随机森林跑通的人，也适合已经跑通但没看懂特征重要性背后逻辑的人。这篇笔记把代码怎么组织、参数怎么调、坑在哪里一次说透。
2. 原理与选型：从决策树到随机森林，三个随机性的作用
2.1 决策树如何生长：信息增益与基尼系数
随机森林的基学习器是决策树，所以先得知道单棵树是怎么长出来的。决策树在每个节点上做的事是：遍历候选特征和切分阈值，找出一个划分，让划分后的两个子节点纯度最高。纯度衡量有两种常见指标，分类任务里最常用的是基尼系数，公式是 1 - Σp_i²，p_i 是当前节点第 i 类的样本占比；另一个是信息熵，代表不确定度，熵下降最多的特征成为当前节点的分裂特征。
如果不对树做任何限制，它会一直长到每个叶子都纯，这直接导致过拟合——训练集准确率接近 100%，测试集掉得厉害。所以实际使用要限制树深，比如max_depth设成3到5，或者限制min_samples_leaf，让每个叶子至少有一定样本量。单棵树的方差很大，换一批数据结果可能差不少，随机森林的思路就是不依赖单棵树，而是让很多棵有差异的树投票。这也是随机森林和决策树区别最核心的地方：决策树是一棵树的预测，随机森林是很多棵树的集体决策。
2.2 随机森林的随机性：行采样与列采样
随机森林对每棵树的训练注入了两个随机性。第一个是行采样：从原始训练集里有放回地抽出一份和原样本量相近的数据，这个过程叫 bootstrap 采样，每棵树用的数据都不一样。第二个是列采样：在每个节点分裂时，不是考虑全部特征，而是随机抽一部分特征（分类任务通常是 sqrt(n_features)，回归是 n_features/3）再从中挑最优的。
这两个随机性的目的不同。行采样让每棵树在不同子集上训练，树之间的相关性降低；列采样进一步打散树的结构，让某些树不能总用最强特征，弱特征也有机会参与分裂，从而降低森林整体的方差。这也解释了为什么随机森林对高维稀疏数据不那么友好——在稀疏特征上做列采样容易选到大量无效特征，分裂时还得逐个遍历，训练速度被拖慢。
2.3 分类与回归的边界：预测均值与外推问题
分类任务里随机森林输出的是所有树的投票结果，预测概率就是某个类别在所有树中的得票比例。回归任务里输出的是每棵树预测值的平均。这里有一个容易忽略的现象：随机森林做回归时永远给不出训练数据范围之外的预测，因为每棵树的叶子值都是训练样本的目标均值，预测结果天然被限制在训练目标的最小值和最大值之间。这在保险定价、销量预测这类外推场景里是个隐患。
所以选型时我一般会先问自己：这是分类还是回归？回归场景下目标变量是否可能超出历史范围？如果是，纯随机森林可能不够，需要配合其他模型或者做残差修正。对于大多数分类任务，随机森林作为基线模型性价比很高，和 XGBoost、LightGBM 的差距往往只有几个百分点，但调参成本和训练时间低一个数量级。遥感随机森林之类的应用场景通常也以分类为主，本质上是一样的逻辑。
3. 数据集准备：内置数据集的选取与预处理链路
3.1 内置数据集的选择：分类用鸢尾花，回归用糖尿病
sklearn 自带几个小型数据集，最适合拿来验证代码流程。分类任务我推荐鸢尾花（Iris）：4 个特征、3 类、150 条样本，类别完全平衡，随机森林在上面几乎不会翻车，适合确认代码链路是否跑通。回归任务推荐糖尿病数据集（diabetes）：442 条样本、10 个特征，目标变量是连续数值，适合演示 RandomForestRegressor。
from sklearn.datasets import load_iris, load_diabetes from sklearn.model_selection import train_test_split # 分类数据 iris = load_iris() X_cls, y_cls = iris.data, iris.target # 回归数据 diabetes = load_diabetes() X_reg, y_reg = diabetes.data, diabetes.target print("Iris特征数:", X_cls.shape[1], "样本数:", X_cls.shape[0]) print("Diabetes特征数:", X_reg.shape[1], "样本数:", X_reg.shape[0])逻辑说明：load_iris 和 load_diabetes 返回的 Bunch 对象里，data 是特征矩阵，target 是标签。Iris 的标签是 0、1、2 三种整数，对应三个鸢尾花品种。Diabetes 的目标是连续值，用来做回归演示。这两组数据都不需要额外下载，直接跟着代码跑就行。
参数说明：train_test_split 后面会用到，第一个参数是特征矩阵，第二个是标签。数据量大的时候要注意，sklearn 内置数据集都是经过清洗的，真实项目里的数据基本没有这么干净，后面会讲到缺失值和类别编码的处理。
3.2 训练集与测试集划分：stratify 参数与随机种子
划分数据时有一个参数 stratify 值得单独说。简单理解：传入标签 y 后，sklearn 会按分层采样，让训练集和测试集里的类别比例尽量一致。这有两层意义：第一是保证每个类别在两个集合里都有样本，避免某个稀有类全体进了训练集导致测试时没法评估；第二是让验证结果能真实反映模型在整体类别分布上的表现，类别不平衡时 stratify=y 几乎是必须的。
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X_cls, y_cls, test_size=0.2, # 20%留作测试 random_state=42, # 固定随机种子，保证可复现 stratify=y_cls # 按类别比例分层采样 )逻辑说明：random_state 固定后，无论跑多少次，划分结果都一样，这在对比不同模型、复现实验结果时必不可少。stratify 接收的是原始标签，sklearn 在内部按每个类别的占比做抽样，使两个集合的类别比例接近原始数据。如果你不传 random_state，每次跑代码得到的数据划分都不同，实验结果就没法复现。
参数说明：test_size=0.2 在 150 条样本上意味着测试集 30 条、训练集 120 条。样本量小的数据集建议测试集比例低一点，否则训练数据太少，模型评估的方差会很大，一次划分的好坏可能直接决定结论。stratify 只对分类任务有效，回归任务不要传，因为连续目标没法做分层。
3.3 特征编码与缺失值处理：类别特征和 NaN 的处理方式
真实数据集和内置数据集最大的差别在于：特征不全是数值型，而且大概率有缺失值。随机森林的 sklearn 实现不接受 NaN，遇到缺失值要么提前填充，要么用支持缺失值的实现（比如 HistGradientBoosting 或者 XGBoost）。常见做法是数值特征用均值或中位数填充，类别特征用众数填充；类别特征本身需要编码成数值，比如 OneHotEncoder，或者按类别频率映射成整数。
import pandas as pd from sklearn.impute import SimpleImputer from sklearn.preprocessing import OneHotEncoder # 模拟一份混合类型的表格数据 df = pd.DataFrame({ 'age': [23, 45, None, 36, 58], 'city': ['北京', '上海', None, '广州', '北京'], 'label': [1, 0, 1, 1, 0] }) # 数值列填充中位数 num_imputer = SimpleImputer(strategy='median') df['age'] = num_imputer.fit_transform(df[['age']]) # 类别列填充众数 cat_imputer = SimpleImputer(strategy='most_frequent') df['city'] = cat_imputer.fit_transform(df[['city']]) # 类别编码 encoder = OneHotEncoder(sparse_output=False, handle_unknown='ignore') encoded_city = encoder.fit_transform(df[['city']])逻辑说明：SimpleImputer 是 sklearn 统一的填充接口，strategy 参数决定填充策略。数值列用中位数比均值更稳，因为均值容易被极端值带偏。handle_unknown='ignore' 保证测试集出现训练集没见过的类别时不会报错，而是全部编码为 0 向量。
参数说明：sparse_output=False 让编码结果返回普通数组而不是稀疏矩阵，方便后面跟数值特征拼接。如果特征数量不大，OneHotEncoder 的维度膨胀问题可以忽略；但某个类别特征基数很高（比如几百个城市）时，就要考虑换成类别频率编码或目标编码，否则特征矩阵会变得很宽，随机森林的训练速度会被拖慢，特征重要性也会被稀释。
4. 核心代码实现：训练、评估与特征重要性全流程
4.1 分类实现：RandomForestClassifier 的标准流程
这是全套代码里最核心的一段。用 sklearn 的封装接口，但有五个参数值得逐个说清楚，因为随机森林的全部调参空间基本集中在这里。
import numpy as np from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score, classification_report import matplotlib matplotlib.use('Agg') import matplotlib.pyplot as plt # 训练 rf_clf = RandomForestClassifier( n_estimators=100, # 树的数量 max_depth=5, # 每棵树最大深度 min_samples_split=4, # 节点分裂所需最小样本数 min_samples_leaf=2, # 叶子节点最少样本数 max_features='sqrt', # 分类默认sqrt(总特征数) oob_score=True, # 用袋外样本评估 random_state=42, # 固定随机种 n_jobs=-1 # 并行使用全部CPU核 ) rf_clf.fit(X_train, y_train) y_pred = rf_clf.predict(X_test) # 评估 print("测试集准确率:", accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred, target_names=iris.target_names))逻辑说明：fit 执行时会训练 n_estimators 棵树，每棵树通过有放回抽样获得自己的训练子集。predict 阶段每棵树各自预测，然后投票得到最终类别。oob_score=True 让 sklearn 在做 bootstrap 采样时记录没被抽到的样本（袋外样本），训练结束后直接在袋外样本上评估，得到的 oob_score 近似于不需要额外测试集的泛化能力估计。
参数说明：n_estimators 是树的数量，太小容易欠拟合，太大训练时间线性增长但精度收益会饱和，100 到 300 一般够用。max_depth 控制树深，不设置的话树会长到叶子纯为止，高维数据上很容易过拟合；min_samples_leaf 限制叶子最少样本数，设 2 到 5 是常见稳妥区间。n_jobs=-1 表示用满 CPU 核心，树数量大时收益明显。
4.2 回归实现：RandomForestRegressor 与指标评估
回归场景和分类只有两处不同：评估指标换成均方误差和 R²，max_features 的默认值不同。代码流程完全一样，下面这段可以直接替换糖尿病数据使用。
from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error, r2_score rf_reg = RandomForestRegressor( n_estimators=200, max_depth=6, min_samples_leaf=3, max_features='sqrt', random_state=42, n_jobs=-1 ) rf_reg.fit(X_train_reg, y_train_reg) y_pred_reg = rf_reg.predict(X_test_reg) mse = mean_squared_error(y_test_reg, y_pred_reg) r2 = r2_score(y_test_reg, y_pred_reg) print("MSE:", round(mse, 3)) print("R²:", round(r2, 3))逻辑说明：回归树的叶子节点存储的是落入该叶子所有训练样本的目标均值，预测时沿着树走到叶子，取这个均值。整个森林的预测就是所有树预测值的平均。mean_squared_error 衡量预测值和真实值的平方误差均值，值越小越好；R² 衡量模型解释了多少方差，越接近 1 越好，接近 0 说明模型基本等于直接预测均值。
参数说明：max_features='sqrt' 在回归任务里同样是常用选择。sklearn 对 RandomForestRegressor 的默认值是 1.0 即全部特征，但实际调参时 sqrt 通常更稳。min_samples_leaf=3 能让叶子有一定样本量支撑，避免个别叶子只有一两个样本导致预测波动大。如果目标变量量纲很大（比如房价几百万），建议先对目标做 log 变换再训练，预测结束后再还原，能显著降低大值样本对分裂的拉扯。
4.3 特征重要性与可视化：读懂模型在依赖什么
特征重要性是随机森林最有价值的产物之一。sklearn 默认给出的是基于杂质减少的平均值（MDI），思路是：记录每个特征在所有树的所有分裂节点上带来的基尼系数下降，按特征累加后除以分裂次数，归一化得到重要性分数。注意这个分数有偏，高基数的数值特征容易虚高，这点在避坑章节详细展开。
import matplotlib.pyplot as plt importances = rf_clf.feature_importances_ feature_names = iris.feature_names # 排序后绘制水平条形图 indices = np.argsort(importances)[::-1] plt.figure(figsize=(7, 5)) plt.barh([feature_names[i] for i in indices][::-1], importances[indices][::-1]) plt.xlabel("Feature importance (MDI)") plt.tight_layout() plt.savefig("feature_importance.png", dpi=150)逻辑说明：feature_importances_ 在 fit 之后可以直接读取，长度和特征数量一致，所有特征重要性之和为 1。np.argsort 返回按重要性升序排序的下标，加 [::-1] 变成降序，便于取最高的几个特征。绘图用 barh 画水平条形图，因为特征名通常不长，水平排列更读得清。
参数说明：如果特征数量超过几十个，建议只画前 15 个，否则图会被大量低重要性特征压扁，看不出主体。dpi=150 保证存下来的图放大时不糊。这里也可以换成 shap 库对特定样本算 SHAP 值，能显示单个特征对单条预测的贡献方向，比 MDI 信息更细，代价是计算开销更大。sklearn 的 permutation_importance 函数则是另一种替代方案，下面会提到。
5. 避坑与排查：随机森林常见的五个翻车现场
5.1 特征重要性骗了你
现象：某个类别型特征的重要性高得离谱，一个特征占比就超过 50%，但把它删掉之后模型精度几乎没掉。
原因：基于基尼下降的 MDI 重要性天然偏向取值多的特征。特征取值越多，候选切分点越多，找到某个低基尼切分点的概率越大，基尼下降被虚增。数值连续特征通常比二值类别特征更容易获得高重要性。
解决：用 permutation importance 做交叉验证，把某个特征列随机打乱，看精度掉多少，掉得多才是真正重要。sklearn 的 permutation_importance 函数需要传入已经 fit 的模型和验证集，计算时对每一列做若干次打乱取均值，更接近真实贡献。
5.2 类别不平衡导致训练偏向多数类
现象：正负样本比例 1:9，训练出的模型准确率 90%，但召回率只有 20%，少数类几乎全被预测成多数类。
原因：随机森林每棵树的 bootstrap 采样是独立进行的，虽然行采样给了少数类被抽中的概率，但分裂时仍然以整体基尼下降为目标，多数类占主导，少数类的分裂点往往得不到足够权重。
解决：最常见的是在 RandomForestClassifier 里设 class_weight='balanced'，sklearn 会自动按类别频率反比加权；也可以考虑在下采样或 SMOTE 过采样之后训练，再用测试集评估。评估时不要只看准确率，要同时看 recall 和 F1，否则你根本发现不了这个问题。
5.3 n_estimators 太少导致预测波动
现象：同一个测试样本，模型每跑一次预测结果都不一样，或者训练集表现好但测试集波动大。
原因：n_estimators 太小时，随机性带来的方差没有被充分平均掉。bootstrap 采样和列采样让每棵树差异很大，10 棵树和 50 棵树的平均效果差异显著，但 200 棵和 500 棵的差异不明显。另外 random_state 不固定也会加剧这种感觉。
解决：n_estimators 至少设 50 起步，100 到 300 是常见区间，同时固定 random_state。可以用一个 X 轴为树数量、Y 轴为 oob_score 的曲线来选择树的个数，曲线上拐的位置就是收益开始饱和的点，绕开玄学拍脑袋。
5.4 回归外推：随机森林预测不了没见过的范围
现象：回归模型在测试集上 R² 很高，但一旦输入特征值超过训练集范围（比如训练年龄都在 20 到 50 岁，预测 60 岁的人），预测结果立刻失真甚至直接回到训练目标均值附近。
原因：回归树的叶子值是训练样本的目标均值，模型本质上做的是近邻平均，没有任何外推机制。超出训练范围的目标值在数学上根本预测不出来。
解决：如果业务场景确实需要外推，可行的方案是在随机森林之上叠加一个线性模型拟合残差，用线性模型承担外推能力；或者换成梯度提升树加线性基学习器。至少要意识到，随机森林回归的边界是训练数据的凸包，这是它的物理边界。
5.5 默认阈值 0.5 可能不是最优解
现象：二分类任务整体准确率看着可以，但业务方关心的是某个罕见类别，把阈值从 0.5 调到 0.3 之后，召回率上去了，业务才真正满意。
原因：predict 默认按 0.5 的阈值把预测概率切分成类别。类别不平衡或者误分类代价不对称时，0.5 不是最优阈值。稀有类别出现概率本身远低于 0.5，按 0.5 切几乎做不到召回。
解决：改用 predict_proba 取概率值，在验证集上画 PR 曲线或 ROC 曲线，根据业务对误报和漏报的容忍度手动选定阈值。比如风控场景更怕漏过坏用户，就会把阈值往低调，宁可误伤一些好用户。这个逻辑要写在代码注释里，方便接手的人看懂为什么不是直接 predict。
6. 进阶实操：网格搜索调参与模型落地的验证习惯
6.1 用 GridSearchCV 把超参数选稳
手调参数靠经验，但真正可靠的做法是网格搜索加交叉验证。GridSearchCV 把参数组合穷举一遍，用交叉验证评估每组参数的分数，最后拿到最优参数。搜索空间要克制，参数组合数量是乘数关系，每组多两个值，总组合数就翻几倍。
from sklearn.model_selection import GridSearchCV param_grid = { 'n_estimators': [100, 200, 300], 'max_depth': [3, 5, None], 'min_samples_leaf': [1, 2, 4] } grid_search = GridSearchCV( RandomForestClassifier(random_state=42), param_grid, cv=5, # 5折交叉验证 scoring='accuracy', n_jobs=-1, verbose=1 ) grid_search.fit(X_train, y_train) print("最优参数:", grid_search.best_params_)逻辑说明：cv=5 意味着每组参数要在 5 折切分上各训练一次，取平均分作为本组参数得分。把 param_grid 里的值都传进去，结果里 best_params_ 给出平均分最高的一组。verbose=1 会在控制台打印进度，组合数比较多时能确认程序没卡住。
参数说明：n_estimators 在这个例子里搜索 100、200、300，max_depth 搜索 3、5、不限制，min_samples_leaf 搜索 1、2、4。这个组合共 27 组，乘以 5 折就是 135 次训练，数据集小的话几秒就完成。数据量大的时候建议先用粗网格跑一遍，选型之后再细化到最优区间附近搜索。这比手工调参靠谱得多，也省得事后用随机森林回归算法跑出离谱结果时后悔。
6.2 模型持久化与一致性校验
模型训练完必须能落盘。joblib.dump 把整个训练好的模型对象序列化到文件，以后加载直接 predict，不需要重新训练。这一步看起来基础，但项目上线时没做的人会非常痛苦。
import joblib joblib.dump(grid_search.best_estimator_, "random_forest_model.joblib") # 下次直接加载 rf_loaded = joblib.load("random_forest_model.joblib") y_pred_loaded = rf_loaded.predict(X_test) print("加载后的预测一致:", (y_pred_loaded == y_pred).all())逻辑说明：dump 和 load 是一对固定组合。dump 保存的是整个对象，包括所有树的结构和分裂阈值，所以加载后 predict 的结果必须和原模型完全一致。最后一行断言代码验证一致性，防止模型文件损坏或者环境版本不一致导致不可察觉的偏差。
从那以后我每次跑随机森林，都会强制走一遍三步：先固定 random_state 做一次基线训练，再做一次网格搜索，最后把最优模型 dump 下来、加载回来做一致性校验。这三步只要 30 分钟，但每一次都替我省掉了回头找模型的麻烦。希望帮到你。
本文还有配套的精品资源，点击获取
