做数据挖掘实战时，我最怕的不是模型不收敛，而是连数据的“脾气”都没摸清就直接丢进算法。描述统计就是摸清数据脾气的第一步，而在这套【数据挖掘数学基础】系列里，01描述统计的“中”篇，重点不在均值、中位数这些中心趋势，而在离中趋势与分布形态：方差、标准差、四分位数、偏度、峰度，以及它们如何过渡到数据预处理。这篇文章适合正在打数据挖掘数学基础、想搞清楚特征分布怎么影响建模结果的同学，我会把公式讲透，也会补上一些我实际项目中踩过的坑。
1. 为什么本阶段不继续讲均值，而要讲“离中趋势”
1.1 从“均值相同”到“分布完全不同”：一个绕不开的案例
先看一个我做入门培训时经常抛出去的例子。假设两个产品团队都告诉你，他们用户的平均单次在线时长是52分钟，听起来都是不错的数字，对吧？但如果把原始数据摊开：A团队是45、50、52、55、58分钟，B团队是1、98、2、102、57分钟，两个团队的平均值确实都是52分钟，但业务含义完全不一样。
A团队是典型的高粘性应用，用户行为很稳定，大部分人都集中在50分钟上下，平均值能代表主流。B团队则像一锅沸水，大量用户只进来几秒就流失，少数用户又长时间停留，平均值52分钟在这种场景下几乎没有代表性，甚至会产生误导。如果你只拿平均值去做下一步分析，结果很可能是错误结论。两个数据集中心位置一致，但整个数据的“紧凑程度”截然不同，这种差异在描述统计里就叫离中趋势，也叫离散程度。
数据挖掘里讲数据分布，本质上讲的就是四件事：中心在哪里、离散有多大、形状是否对称、尾巴有多重。上一部分我们解决了中心问题，这一部分就要把后面三件事一口气补上。原因也很简单，后续做特征工程、异常检测、标准化，甚至选择模型时，都需要先知道数据在均值附近的波动幅度，以及分布长相。比如你想对用户时长做异常检测，不知道该变量的标准差，就根本没法判断一条记录到底偏得像不像离群点。
1.2 离中趋势的三个层次：极差、四分位距、方差与标准差
描述离散程度的常用指标大致可以分成三套：极差、四分位距、方差与标准差。它们不是彼此的替代品，而是从不同角度回答“数据多散”这个问题。
极差计算最简单，最大值减最小值，一眼能看出整体跨度，但它完全由两个边界值决定，只要出现一个极端值，极差立刻失真。上面B团队的极差是101分钟，而A团队只有13分钟，极差能够在几秒内告诉你两个团队的数据覆盖范围差异，同时也告诉你它极不稳定。
四分位距取的是分位数的差，用Q3-Q1来描述中间50%数据的分散程度。它的核心优势是稳健，即使数据里混进几个极大或极小值，只要这些值没有挤进首尾四分之一区域，IQR就几乎不动。之前在数据集中出现过几次极端异常，我都是先看IQR而不是先看标准差，因为这个指标能更沉着地反映数据主体的波动情况。
方差和标准差则是数据挖掘中使用频率最高的离散度量。它们的思路是：把每个样本与平均值的偏差全部加起来，再折算成一个平均水平。方差表示平方偏差的平均值，标准差再开根号，让单位回到原数据的量纲。在统计推断、假设检验、方差分析这一系列后续操作里，方差几乎都是核心；在工程层面，标准差则因为单位直观，更适合直接写进业务规则里。
| 指标 | 计算公式 | 回答什么问题 | 对异常值的敏感度 |
|---|---|---|---|
| 极差 | max - min | 数据整体跨度多大 | 非常敏感 |
| 四分位距 | Q3 - Q1 | 中间一半数据有多分散 | 稳健 |
| 方差 | Σ(xᵢ-μ)² / N | 平方平均偏差多大 | 较敏感 |
| 标准差 | √方差 | 平均偏差大概多大 | 较敏感 |
所以实践中正确的用法是：做粗筛用极差，画分布图优先看箱线图和IQR，做统计计算和标准化时用标准差。不要在任何场景下都抱着同一个指标不放，先想清楚这个环节要回答什么问题。
2. 方差与标准差：数据挖掘中最常用的离散指标
2.1 为什么是“平方”，而不是取绝对值
很多初学者都会问同一个问题：要衡量每个点偏离均值多远，直接算|xi-μ|然后取平均，不是更直观吗？为什么非要平方？这个问题问得非常好，我当初也纠结了一圈。
绝对值算出来的指标叫平均绝对偏差，它的确很直观，每个点离均值多远，平均下来就是多远。但它有两个硬伤。第一，绝对值函数在零点处不可导，做各种最优化推导时非常难受，经典统计理论中的最小二乘、正态分布、最大似然估计都建立在平方结构之上。第二，平方会对较大偏差施加更重的惩罚，一个偏差从1变成4，绝对值贡献从1变成4，平方贡献则从1变成16。数据挖掘中，极端值通常意味着风险或异常，让它们对离散度有更大的话语权，反而是我们想要的性质。
当然，平方的代价是单位被改变了。原始数据单位是秒，方差单位就变成秒平方，这个数值读起来很抽象。所以实际工程中我几乎总是用标准差，它开一次根号，单位回到秒，可以直接跟均值放在一起讨论。
补充一个高频考点：样本方差的分母是n-1而不是n。公式写出来是总体方差σ²=Σ(xᵢ-μ)²/N，样本方差s²=Σ(xᵢ-x̄)²/(n-1)。为什么除以n-1？因为样本均值x̄本身就是从这批样本估计出来的，它已经消耗了一个自由度。可以这样理解，当你知道样本均值之后，n个偏差值里其实只有n-1个能自由变化，最后一个会被均值条件锁死。这个校正让样本方差在多个维度上都能更准确地估计总体方差，避免系统性低估。做数据分析时，绝大多数场景面对的都是样本而非普查式全量数据，所以默认应该使用n-1分母。
2.2 手算一遍，彻底记住方差和标准差
与其死背公式，不如拿一组小数据亲手算一次。我现在取5个用户的登录次数：4、8、6、5、12。
第一步，计算均值：(4+8+6+5+12) / 5 = 7。 第二步，算每个值偏离均值的偏差：-3、1、-1、-2、5。 第三步，平方后求和：9 + 1 + 1 + 4 + 25 = 40。 第四步，如果把这5条数据看成整个总体，方差是40/5 = 8，标准差约2.83；如果看成从总体里抽出的一个样本，方差是40/4 = 10，标准差约3.16。
同一个数据，因为分母选择不同，结果会有明显区别。当样本量很小时，这个区别不能忽略；当样本量上千上万时，n-1和n的差异几乎可以忽略，这也是为什么很多工具在数据量大时不会让你察觉到这种差异。但严谨的项目仍应明确标注用的是总体标准差还是样本标准差，否则后续推导置信区间、设置异常阈值时，边界就容易偏。
如果你用Python里的pandas做同样计算，直接调用s.std()得到的是样本标准差，默认ddof=1；如果调用s.std(ddof=0)才是总体标准差。这一点最好形成肌肉记忆。
2.3 标准差在业务和数据挖掘里的实际意义
标准差不只是公式里的一个符号，它在业务分析里有一个非常实用的解释：标准差衡量的是数据围绕均值的典型波动幅度。
在一个近似正态分布的变量上，可以借用3σ经验规则做快速判断，大约68%的数据落在均值±1个标准差内，约95%落在±2个标准差内，约99.7%落在±3个标准差内。于是很多异常检测系统会把“超过均值+3倍标准差”当作一个筛选条件。这个规则本身没有错，但它隐含的前提是分布接近对称、没有重尾。数据挖掘里碰到的时长、金额、点击量这类变量往往是强右偏的，直接套3σ会把大量正常用户标记成异常。我见过不少团队在日志告警上栽过这个跟头，所以用标准差设阈值前一定要先看分布形状。
标准差还能直接变成特征。比如用户每笔订单金额的标准差，就能作为一个“消费波动”特征输入模型，它比单纯用平均值更能刻画用户行为。一个均值相同但标准差很大的用户，可能今天买几千块，明天只买几块钱，这种不稳定性和风险偏好是有预测价值的。特征工程本质上就是在描述统计里找出那些能切开业务差异的指标。
如果需要比较两个不同均值水平的变量谁更“波动”，建议再向前一步，计算离散系数CV=标准差/均值。比如某商品价格均值为100元，标准差20元，CV=0.2；另一个用户活跃天数均值5天，标准差2天，CV=0.4。后者相对波动更大。直接比较标准差20和2是没有意义的，因为量纲和均值水平都不同，这也是新手最容易忽略的细节。
2.4 一批代码快速输出关键描述统计指标
在实际项目中，我很少手算，一部是交给代码。下面这段代码可以快速把本节提到的指标都打出来，适合放在探索性数据分析的起始位置。
import numpy as np import pandas as pd data = np.array([5, 7, 8, 12, 15, 16, 19, 22, 30, 300]) s = pd.Series(data) print("均值：", s.mean()) print("标准差（样本）：", round(s.std(ddof=1), 3)) print("方差（样本）：", round(s.var(ddof=1), 3)) print("分位数：", s.quantile([0.25, 0.5, 0.75]).round(3).tolist()) print("偏度：", round(s.skew(), 3)) print("峰度：", round(s.kurt(), 3))跑完这五行，均值、标准差、分位数、偏度、峰度一次性拿到。你会看到300这个极端值把均值抬得很高，但分位数几乎不受影响。这就是为什么我强调，在发现异常值之前，不要让单一指标替你下结论。
3. 四分位数与箱线图：抗异常值的主力工具
3.1 用一组实际数据把四分位数算清楚
四分位数是描述统计里被误解最多、也最容易被工具实现差异坑到的知识点。先把概念讲清楚：Q1是第一四分位数，也叫下四分位数，代表从小到大排列后处于25%位置的值；Q2就是中位数，50%位置；Q3是第三四分位数，75%位置。
举个例子，某用户行为日志里提取9个每日登录次数，排序后是5、7、8、12、15、16、19、22、30。Q2显然是中位数15。计算Q1和Q3时，核心问题是：数据总个数是奇数，前后两半怎么切。
常见的做法是这样：以中位数15为界，把序列分成前一半5、7、8、12和后一半16、19、22、30。前一半的中间位置在7和8之间，取平均是7.5；后一半的中间位置在19和22之间，取平均是20.5。于是Q1=7.5，Q3=20.5，IQR=13。
但如果你换用numpy的线性插值法，得到的Q1和我上面写的7.5可能略有差别。这里要特别提醒：不同工具对四分位数的算法并不完全一致，numpy、pandas、Excel、SPSS都可能有各自的插值规则。拿到同一份数据，不同工具算出不同IQR是正常现象。关键是别因此怀疑自己的数据出问题。数据量越小、数据越离散时，算法差异对结果的影响越明显，所以我在做项目时会在流程里固定用同一套计算方式，避免中途更换工具导致异常值筛选结果跳动。
3.2 箱线图到底在告诉我们什么
基于四分位数，可以画出数据挖掘中最实用的一张图：箱线图。它由三要素构成：盒子的左右边界分别是Q1和Q3，盒中竖线是Q2，盒外侧的两条须线延伸到“正常范围”的边界。判断异常值最常用的标准是1.5倍IQR：下边界是Q1-1.5×IQR，上边界是Q3+1.5×IQR，凡是在边界之外的点都标记为离群点。
拿刚才的序列加上一个极端值再看：5、7、8、12、15、16、19、22、30、300。此时Q1=(8+12)/2=10，Q3=(19+22)/2=20.5，IQR=10.5。上边界=20.5+1.5×10.5≈36.25，300这个值远在上边界之外，箱线图会直接把它单拎出来展示。这种视觉表达非常高效，一张图就能看出数据主体分布在哪、异常点在哪、是否对称。
为什么选1.5倍IQR而不是别的数？这是经验法则，在接近正态分布的数据中，这个边界大约对应±2.7个标准差的位置，能够覆盖绝大部分正常值。它不是必须墨守的硬规则，遇到业务特性完全不同的问题时，可以按需调整阈值。更重要的是，箱线图只能提示“这个值离主体很远”，具体要不要剔除，还要结合业务来源判断。一个300次登录的用户可能是机器人，也可能是重度用户，属性完全不同，应该先回到原始日志里去核验。
3.3 分位数在数据挖掘里的三个实战用法
除了画图，分位数在数据挖掘流程里有三个角色特别有价值。
第一，用分位数做离散化。连续特征可以直接按四分位数或更多分位点切成等级。比如把用户活跃天数按0.25、0.5、0.75三个分位点切成低、中、较高、高四档，生成有序类别特征，这种做法在风控画像里非常常见。它比直接丢原始连续值更稳定，也能避免极端值干扰。
第二，用分位数做鲁棒缩放。常规Z-score标准化容易受异常值影响，而鲁棒缩放器用“减去中位数，再除以IQR”的方式来缩放特征。它的好处是既消除量纲差异，又不至于因为几个极端值把整个特征范围压扁。如果数据里明显有异常点，这个方法往往比普通标准化更稳妥。
第三，用高百分位做异常检测。业务上经常用99分位、95分位当作告警线。比如交易金额超过P99，就触发风控复核。实际操作中，分位数比“均值加标准差”更直观，因为它的含义是“比99%的历史记录都高”，而均值加标准差在偏态分布里很难向业务解释清。
4. 分布形状：偏度与峰度，建模前的最后两道诊断
4.1 偏度：分布不对称怎么办
偏度是刻画分布对称性的指标。它的公式常写作：
Skew = (1/n Σ(xᵢ-μ)³) / σ³
分子对偏差取三次方，分母用标准差立方做无量纲化。计算结果的符号很有讲究。Skew大于0，说明分布右偏/正偏，右侧有一条较长尾巴，均值通常大于中位数；Skew小于0，说明左偏/负偏，左侧尾巴更长，均值通常小于中位数；Skew接近0，分布近似对称。
现实数据里，用户访问时长、订单金额、搜索频次这类非负变量基本都是右偏，少数大额用户把长尾巴拖到右端。左偏相对少见，常见于考试分数这类有明确上限的指标。判断偏度严重程度时，我一般用这样的经验参考：绝对值小于0.5可视为近似对称，0.5到1属于中等偏斜，超过1属于强偏斜。样本量较小时，偏度估计本身的波动也不小，不要只凭一个0.7的数值就急着做转换，可以结合直方图一起看。
偏度为什么和数据挖掘强相关？因为很多模型和预处理方法都隐含了对称分布的假设。距离类算法对特征尺度敏感，如果某个特征严重右偏，个别极端值会把整个样本的距离关系带偏；均值填充缺失值在强偏态下也容易给数据加入偏移。看到偏度很高，就要提前安排对数变换、开方变换或更专业的Box-Cox变换。
4.2 峰度：判断重尾和极端值风险
峰度衡量的是分布的“尾部厚度”和“中心尖峭程度”。常见公式是：
Kurt = (1/n Σ(xᵢ-μ)⁴) / σ⁴ - 3
标准正态分布的峰度恰好为3，扣除3以后超额峰度为0。因此正峰度说明数据比正态分布有更胖的尾巴，极端值出现的概率更高；负峰度说明尾部偏薄，分布更平展。
关于峰度有一个常见误解：很多人以为正峰度只表示分布峰值更高更尖，其实它更关键的含义是重尾。比如用户群里如果混入极少量超高消费用户，峰度往往明显为正。在金融和风控场景，高峰度本身就是风险提示，它说明极端事件发生的概率高于正态分布给出的估计。数据挖掘里，峰度高意味着方差、标准差、均值这些指标对极端值极度敏感，任何基于均值和方差的规则都可能被少数样本牵着走。
我在实际项目里通常把偏度和峰度看成一对搭档：偏度告诉我们尾巴在左还是右，峰度告诉我们尾巴有多厚重。两者一起看，比只看直方图更能快速定位分布形态问题。当某个特征的偏度和峰度都显著偏离正常范围时，建模前就应该重点处理它。
4.3 偏度和峰度如何影响算法选型与特征变换
拿到一批连续特征，我会先列一个描述统计表，把均值、标准差、偏度、峰度摊开。接下来根据形态决定下一步动作。
线性回归、逻辑回归、线性SVM这类模型对特征分布比较敏感，尤其当特征尺度差异大或强偏斜时，训练过程容易被极端样本主导。遇到这种情况，我会先对强右偏特征做log1p变换，把长尾压缩；如果数据仍不对称，再考虑Box-Cox变换。对左偏特征，可以考虑平方、立方等幂变换。树模型不依赖特征距离计算，对偏度相对不敏感，但偏态分布也会让基于方差的特征重要性计算产生偏差，所以该处理的还是应该处理。
聚类、K近邻、PCA这类基于距离的算法，更依赖特征的尺度和分布形态。它们的共同点是默认所有特征都在同一尺度下参与计算，一旦某个偏态特征携带极端值，欧氏距离就会被它主导。处理顺序先解决偏态，再做标准化，最后才能进入模型。
偏度和峰度数值本身可以直接作为特征被模型使用，尤其是在异常检测问题中很有价值。比如在时间窗口内计算用户交易金额分布的偏度，偏度突然变大，往往意味着一笔不正常的超大交易挤了进来。描述统计的指标不只是预处理的工具，它们本身就是数据挖掘的特征来源。
5. 从描述统计到数据预处理：标准化的那座桥
5.1 Z-score标准化与Min-Max归一化，到底怎么选
标准化这一步几乎是所有数据挖掘流程的标配，而它的数学依据恰恰来自描述统计。最常用的两种方法对离散度量的依赖完全不同。
Z-score标准化公式：z = (x-μ)/σ。它把原始数据转换成均值为0、标准差为1的分布。它适合分布近似对称的场景，因为它本质上是把“距离均值多少个标准差”变成数值，标准差越大，越远处的值被压缩得越厉害。Z-score不改变原始数据的分布形态，只改变尺度。如果原始数据强偏，标准化后仍然偏。
Min-Max归一化公式：x' = (x-min)/(max-min)。它把数据压到0到1区间，但最大和最小值对结果影响很大，一旦样本外出现新极端值，区间就会重新变动。所以它更适合取值范围相对稳定、或者业务上已经有明确边界的变量。在梯度下降类模型中，把特征全部归一化到相同区间可以加速收敛，但这也意味着对异常值敏感，使用前要先确保异常值已经处理过。
我的默认选择是：没有特殊理由就用Z-score。它既保留了数据的相对结构，又让描述统计的均值和标准差直接参与运算，后续解释起来也方便。如果异常值比较多，就走鲁棒路线，用中位数替代均值，用IQR替代标准差。如果后续要喂给神经网络或距离模型，才会考虑Min-Max。
5.2 一个完整小案例：从描述统计直接推导预处理方案
为了让这一整套逻辑落地，我讲一个模拟项目里的实际流程。某业务要给用户做活跃度聚类，原始特征之一是用户最近30天的总访问时长。第一次取数后，我按照标准流程先跑描述统计。
结果是这样：均值187分钟，中位数只有25分钟，Q3是60分钟，最大值6420分钟，标准差接近120分钟，偏度算出6.7。看到这组数字几乎不用画图，问题就已经暴露了：均值比中位数高出一个数量级，严重右偏，标准差比Q3还大，说明极端值对离散度的影响极其严重，直接拿去聚类，结果大概率是一两个离群点把整个簇拽走。
接下来处理。第一步，先对访问时长做log1p变换。为什么要log1p而不是log？因为数据里可能包含0分钟的用户，log(0)没有定义，加1后再取对数可以保住零值样本。变换后再看，偏度从6.7降到0.5左右，IQR和标准差的数量级差距也变小，分布接近对称。第二步，再用Z-score标准化，把变换后的特征和另一个量纲不同的特征统一到同一尺度。
这个案例看起来平淡，却是数据挖掘里最常见的真实操作。很多人调了半天聚类参数没效果，最后定位原因就是没有先跑描述统计。描述统计说的不只是一堆数字，它直接告诉你，这一列数据该不该变换、该用什么方式变换、变换做完应该长成什么样，这些判断比盲目调参重要得多。
5.3 用一段代码落实标准化与形态检查
如果你想把上面的流程做成一个可复用模板，下面这段代码可以当作起点。它分三步走：第一步检查特征形态，第二步做分布变换，第三步标准化。
import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler df = pd.DataFrame({ "active_duration": [3, 5, 12, 80, 150, 30, 0, 400, 200, 90], "login_days": [1, 2, 4, 6, 7, 3, 1, 8, 6, 5] }) # 第一步：形态检查 desc = df.agg(["mean", "std", "skew", "kurt"]).T print(desc) # 第二步：对右偏特征做对数变换 df["active_duration_log"] = np.log1p(df["active_duration"]) # 第三步：标准化 scaler = StandardScaler() scaled = scaler.fit_transform(df[["active_duration_log", "login_days"]]) print(scaled.mean(axis=0).round(6)) print(scaled.std(axis=0).round(6))最后两行输出的均值应该接近0，标准差接近1，这就是标准化的验收标准。如果这两条线不过，后续一切距离计算和模型训练都要重新审视。
6. 常见问题与实操心得：这些坑，我替你先踩过
6.1 样本方差和总体方差混着用
这是最普遍的问题。很多人算一个特征的标准差，写完代码不检查工具默认值就交给下游。pandas里Series.std默认是样本标准差ddof=1，numpy里np.std默认却是总体标准差ddof=0，Excel里STDEV.S和STDEV.P也分两套。同一个特征，不同函数算出不同标准差是非常正常的事。记住一条原则：只要你不是在计算“全量数据本身”的统计量，而是在用样本推断总体，就统一用样本版本，并在文档里标明。
6.2 只盯均值和方差，差点漏掉异常值
我在初期做特征分析时也习惯列均值、标准差，然后就开始下一步，结果某次建模效果特别差，回查才发现数据里有大量异常值，均值被拉高，标准差被拉大，后续的标准化、归一化全部受到牵连。后来我把探索性数据分析的固定动作改成三步：先看箱线图找离群点，再算偏度和峰度判断形态，最后才看均值和标准差。顺序变一下，问题暴露的速度完全不一样。
6.3 分位数算法差异引发的“对不上账”
同一个数据集，用自己写的函数算是Q3=20.5，用另一个平台算却是19.8，看起来像出了bug。其实四分位数算法有好几种，位置方法、线性插值方法、样本无偏估计方法，都会造成差异。我的习惯是项目一开始就确定好标准实现，比如固定用pandas的quantile默认方法，并且不随意切换。涉及给业务方的报告时，也把算法说明写清楚，免得后续对接时扯皮。
6.4 用标准差去比较量纲完全不同的特征
比较年龄的标准差12和消费金额的标准差120，直接读数没有任何意义，因为量纲和均值水平完全不同。数据挖掘里需要比较多个特征时，先标准化，或者使用离散系数CV=标准差/均值。CV是无量纲的相对指标，适合衡量不同业务指标的相对稳定性。
6.5 不要盲目相信“变换能解决一切分布问题”
看到偏度大就做log，看到峰度高就做分位数变换，这确实容易上手，但不能解决所有问题。如果数据分布是多峰的，比如用户群体本来就分注册用户和核心用户两层，单纯做对数变换无法抹平业务分层，更好的办法是先把分层变量拆出来。如果数据包含大量零值，log1p只能缓解，不能根治，这种情况可能需要考虑零膨胀模型或单独构造二值特征。描述统计负责诊断，要不要做变换、怎么做变换，还得结合业务逻辑。
最后说一点个人感受。我这些年做项目，最大的收获反倒不是用了什么复杂的算法，而是养成了一个看数据先做描述统计的习惯。每次建模前，把所有连续特征集中过一遍，看一眼分布形态、离散程度和异常点数量，就能提前躲掉大半数据问题。这套“01描述统计（中）”的内容，说到底是把数据挖掘工程师的体检报告做扎实。按照这个流程走，后续的特征工程和模型调参会轻松非常多。
