统计学机器学习
简介：什么是机器学习中的统计思维？
在当今的生成式 AI 时代，我们看到从业者构建机器学习 (ML) 模型，从简单的回归到复杂而精密的神经网络和生成式大型语言模型 (LLM)。我们还看到数据科学和数据分析被广泛用于预测客户流失、推荐系统和其他用例。然而，尽管机器学习 (ML) 模型看起来像是在海量数据集和强大的算法上运行，但深入了解，它们是一个统计过程。
机器学习建立在统计技术和数学工具（包括贝叶斯方法、线性代数和验证策略）的基础上，这些技术和工具为该过程提供了结构和严谨性。无论是在 Python 中构建非线性分类器、调整推荐系统还是开发生成式模型，您都是在应用统计机器学习的核心原则。
无论何时培训模型，您都是在根据数据估计参数。测试时，您可能会问：这种规律是真实的，还是随机噪声？我们如何使用评估指标来量化误差？这些都是统计问题。统计测试流程有助于我们在构建和解释模型指标中融入信心。了解这些先决条件不仅是基础，而且对于构建基于计算机科学和数学推理的、强大且可解释的 AI 系统至关重要。
本文解读了现代 ML 背后的统计支柱，不仅为您揭开数学的神秘面纱，还为您提供了自信地构建、调试和解释机器学习系统所需的心智模型。
我们将介绍六个相互关联的概念：
- **统计学：**从根本上来说，什么是统计学以及它在现代 AI 中如何应用？
- **概率：**如何量化数据的不确定性？
- **分布：**如何为数据行为建模？
什么是统计学？
统计学是一门从数据中提取洞察分析的科学。它通过组织、分析和解释信息来发现规律，并在不确定的情况下做出决策。在数据科学和机器学习算法的背景下，统计学为理解数据行为、指导模型选择和评估结果提供了数学基础。它将杂乱、嘈杂的数据集转化为可操作的情报。
现代机器学习建立在统计方法之上。无论您应用监督学习（例如回归或分类）、无监督学习（例如聚类）还是强化学习，您都是在使用基于统计推理的工具。统计学使我们能够量化不确定性、从样本中进行概括并得出关于更广泛人群的结论 — 所有这些对于构建值得信赖的人工智能 (AI) 系统都至关重要。
描述性统计：了解基础知识
在训练模型之前，我们会进行探索性数据分析 (EDA)，这是一个依靠描述性统计来总结数据关键特征的过程。这些摘要告诉我们每个功能的集中趋势和变量，帮助识别异常值、数据质量和预处理需求。了解这些特性是构建有效模型和选择合适机器学习算法的先决条件。
主要度量：
- 平均数（平均值）：
数值的算术平均值。常见于测量中心性和均方误差 (MSE) 等损失函数。
示例：如果客户购买价值不断增加，则平均值会检测到行为的变化。
- 中位数：
数据排序时的中间值。对异常值比对平均值更具有稳健性。
示例：在收入数据中，中位数更能反映存在偏差财富的“典型”案例。
- 模式：
最常出现的值。适用于分类功能或多数投票（如某些集成方法）。
示例：查找网站访问者最常用的浏览器。
- 标准差 (SD)：
测量值与平均值的分散程度。低 SD 表示数据点聚集在平均值附近，而高 SD 表示变量较大。
示例：在模型验证中，方差较大的功能可能需要标准化，以避免在基于距离的算法（如 k 最近邻算法）中压倒其他功能。
- 四分位距 (IQR)：
75 和 25 百分位之间的范围 (Q3 - Q1)。它捕捉中间 50% 的数据，可用于检测异常值。
示例：在客户细分任务中，支出的高 IQR 可能表明子组之间的行为不一致。
<
