高频机器学习面试题｜决策树原理｜信息熵｜信息增益率｜基尼指数｜分类树与回归树
很多人背决策树，只能背出“像树一样分类”。但一到面试官追问“为什么要用信息熵？ID3 和 CART 到底差哪？为什么一定要剪枝？”就容易卡壳。真正高分的回答，不是把定义背出来，而是把整套逻辑讲顺：它怎么分、凭什么这么分、分完为什么还要剪。本文就按面试最常追问的顺序，把决策树从入门到回答模板一次讲透。
1. 什么是决策树？
决策树本质上是一种监督学习方法。它会把数据放在根节点上，然后不断提出“能把样本区分开的问题”，让样本顺着不同分支往下走，最后在叶子节点上给出预测结果。
如果任务是分类，叶子节点给出的通常是“属于哪一类”；如果任务是回归，叶子节点给出的通常是“一个数值”。这也是为什么决策树既能做分类，也能做回归。
•根节点：第一道问题，通常影响最大。
•内部节点：继续分裂数据的判断点。
•叶子节点：最终输出结果。
•预测过程：新样本只需要从根走到叶，速度很快。
面试一句话：决策树就是把“特征判断”组织成树形结构，让样本沿着条件不断分流，最终在叶子节点完成分类或回归。 |
2. 决策树是怎么构造出来的？
面试官问“简述构造步骤”，不要只说“不断分裂”。更完整的回答是：先拿到训练数据，在当前节点枚举各种候选切分方式，再选择那个最能提升节点纯度的切分，然后递归重复，直到满足停止条件，最后必要时再做剪枝。
•先看当前节点里有哪些样本，它们的标签分布是否混杂。
•尝试不同特征、不同阈值，构造候选切分。
•比较每个切分带来的“纯度提升”，挑出最优。
•对子节点继续重复上面的过程。
•当节点足够纯、样本太少、达到最大深度，或收益太小时停止。
这里有一个很容易忽略的重点：决策树的训练并不是全局最优搜索，而是典型的贪心策略。也就是说，它只保证每一步都选当前最优，但不保证整棵树一定是全局最优。面试里能说出这一点，通常会加分。
3. 为什么要用信息熵来衡量节点是否该分裂？
因为决策树想做的事情，本质上就是“把混在一起的样本分开”。而信息熵可以理解成一个节点的混乱程度：如果一个节点里全是一类，几乎不乱；如果不同类别差不多各占一半，那就非常混乱。
所以，好的切分一定会让切分后的子节点更纯、更不混乱。信息增益就是在衡量：这次分裂，到底帮我们减少了多少混乱。
•熵越大，说明节点越乱。
•熵越小，说明节点越纯。
•信息增益越大，说明这次切分越有效。
你可以把它理解成：切分前是一锅“混合汤”，切分后如果能把不同类别分到更干净的碗里，这次切分就更有价值。
4. 决策树中的 ID3、C4.5、CART 到底有什么区别？
这是面试里最容易被追问的点。真正高分的回答，不是只背名字，而是能讲出三者分别用什么标准选特征、树长什么样、能不能处理连续值、能不能做回归。
4.1 ID3 是什么？
ID3 可以理解成早期经典版本。它的核心思想很直接：哪个特征带来的信息增益最大，就先拿哪个特征做切分。它的优点是好理解，缺点也很明显——它容易偏好“取值很多”的特征。
比如一个“用户编号”这种几乎每人都不同的字段，很可能把样本分得很细，看起来信息增益很高，但它并不具备真正的泛化价值。
4.2 为什么后来又有 C4.5？
因为单纯用信息增益会有偏好多值属性的问题。C4.5 的思路是：不能只看“分完以后纯不纯”，还要看“你是不是靠把数据切得特别碎才显得很纯”。所以它引入了增益率。
增益率可以理解成给信息增益做了一次“归一化校正”，它会对那种把数据切成很多小块的特征进行惩罚。这样一来，模型在选分裂特征时就更稳。
4.3 什么是信息增益率？它比信息增益强在哪？
信息增益率的核心价值，不是让信息增益失效，而是给它“纠偏”。它最大的优势，就是缓解了信息增益偏好多值属性的问题。
•信息增益：看切完以后混乱下降了多少。
•增益率：在信息增益基础上，再看这次切分是不是把数据切得过碎。
•所以 C4.5 往往比 ID3 更稳，更不容易被“编号型特征”误导。
4.4 什么是 CART 算法？
CART 是工程里非常重要的一条路线。它最大的标志有两个：第一，每个节点永远只做二叉切分；第二，它不仅能做分类，还能做回归。
做分类时，CART 常用基尼指数判断切分好坏；做回归时，它更关注切分前后误差有没有明显下降。所以很多实际库实现，尤其是常见机器学习库，底层都更接近 CART 的思想。
5. 基尼指数是什么？为什么很多实现喜欢用它？
基尼指数和熵，本质上都在衡量一个节点是否混乱。二者目标是一样的：谁能把数据分得更纯，谁就更好。区别主要在度量方式和工程实现习惯上。
•熵更适合从“信息量”角度理解，因此常和信息增益一起出现。
•基尼指数在很多工程实现里更常见，因为计算通常更直接。
•不管是熵还是基尼，核心目标都一样：让节点更纯。
所以面试里不要把熵和基尼说成“互相对立的两派”。更准确的说法是：它们都是纯度指标，只是计算方式不同、使用习惯不同。
6. 决策树为什么需要剪枝？
因为树太容易长得过深。一棵不受约束的树，往往会把训练集里的噪声、异常点、偶然性规律也一并学进去。表面看训练效果很漂亮，实际上泛化能力反而下降。
剪枝的本质，就是把那些对泛化帮助不大、只是让树看起来更复杂的枝条砍掉。
6.1 预剪枝和后剪枝怎么区分？
•预剪枝：在训练过程中提前限制，比如限制最大深度、限制叶子最小样本数。
•后剪枝：先把树长出来，再回头把贡献不大的枝条剪掉。
•预剪枝更快，但可能过早停止；后剪枝更细致，但计算代价更高。
如果面试官追问“工程里怎么做”，你就可以顺着说：常见做法是通过 max_depth、min_samples_split、min_samples_leaf、ccp_alpha 等参数控制树复杂度。
7. 决策树的优缺点怎么答？
7.1 优点
•直观、可解释，适合给业务同学展示规则。
•对特征缩放不敏感，通常不需要像 KNN、SVM 那样强依赖标准化。
•既能做分类，也能做回归。
•推理速度快，新样本只需要走一条路径。
7.2 缺点
•单棵树容易过拟合。
•对训练数据扰动较敏感，数据稍微变一点，树结构可能差很多。
•单棵树稳定性一般，效果通常不如集成模型稳。
•不擅长外推，边界往往是分段、阶梯式的。
这也是为什么很多实际场景，决策树更多是作为随机森林、GBDT、XGBoost 等集成模型的基础，而不是单独裸用到底。
8. 面试时怎么把这一题答漂亮？
你完全可以按下面这个顺序说：先给定义，再讲训练时如何选最优切分，再讲 ID3/C4.5/CART 的关系，最后补一句决策树容易过拟合，需要剪枝控制复杂度。这样回答，逻辑就非常完整。
高分模板：决策树是一种通过递归切分特征空间完成分类或回归的监督学习方法。训练时会在每个节点选择最优切分，让子节点更纯。ID3 用信息增益，C4.5 用增益率，CART 用二叉树路线，既能分类也能回归。单棵树容易过拟合，所以通常需要剪枝或进一步用集成方法提升稳定性。 |
9. 总结
把决策树真正学会，关键不是背“树形结构”四个字，而是抓住三条主线：第一，决策树为什么能分；第二，它靠什么标准决定怎么分；第三，为什么分得太深反而不好。
只要你能把“纯度、最优切分、经典算法区别、剪枝防过拟合”这几件事讲清楚，这道面试题基本就稳了。
