一、基于统计的方法
1. Z-Score方法
- 原理：计算数据点与均值的标准差距离
- 公式：Z = (X - μ) / σ
- 应用：通常将Z值大于3或小于-3的数据点视为异常
- 优点：简单直观，计算效率高
- 缺点：假设数据服从正态分布，对非正态分布数据效果不佳
2. IQR（四分位距）方法
- 原理：基于数据的四分位数来识别异常值
- 计算步骤：
- 计算Q1（25%分位数）和Q3（75%分位数）
- IQR = Q3 - Q1
- 异常值边界：下界 = Q1 - 1.5×IQR，上界 = Q3 + 1.5×IQR
- 优点：对非正态分布数据更稳健
- 缺点：对高维数据效果有限
- **参考：**https://blog.csdn.net/qq_39543984/article/details/120398152
二、基于距离的方法
1. K近邻（KNN）方法
- 原理：基于数据点与其K个最近邻的距离来判断异常
- 核心思想：异常点通常远离其最近邻
- 实现方式：
- 计算每个点到其K个最近邻的距离
- 距离异常大的点被认为是异常点
- 优点：无需假设数据分布
- 缺点：计算复杂度高，需要选择合适的K值
2. 局部异常因子（LOF）
- 原理：衡量数据点的局部密度与其邻居的差异
- 核心概念：
- 可达距离：点p到点o的距离
- 局部可达密度：点p的K个最近邻的平均可达距离的倒数
- LOF分数：点p的邻居的局部可达密度与p的局部可达密度的比值
- 优点：能检测局部异常，对密度变化敏感
- 缺点：参数选择敏感，计算复杂度高
三、基于聚类的方法
1. DBSCAN（基于密度的空间聚类）
- 原理：基于密度连接性进行聚类，不属于任何簇的点视为异常
- 关键参数：
- ε：邻域半径
- MinPts：核心点所需的最小邻居数
- 异常识别：被标记为噪声（noise）的点
- 优点：能发现任意形状的簇，无需预先指定簇数量
- 缺点：对参数敏感，在高维数据中效果下降
2. HBOS（基于直方图的异常检测）
- 原理：为每个特征构建直方图，计算数据点的异常分数
- 实现方式：
- 为每个特征创建直方图
- 计算每个特征中数据点所在区间的密度
- 异常分数 = 所有特征密度倒数的乘积
- 优点：计算效率高，适用于大规模数据
- 缺点：假设特征独立，可能忽略特征间关系
四、基于集成学习的方法
1. Isolation Forest（孤立森林）
- 原理：通过随机选择特征和分割值来隔离数据点
- 核心思想：异常点更容易被隔离（需要更少的分割）
- 算法流程：
- 构建多个孤立树（iTree）
- 计算每个点的路径长度
- 异常分数 = 2^{-E(h(x))/c(n)}
- 优点：
- 处理高维数据效果好
- 计算效率高
- 无需距离或密度度量
- 缺点：对局部异常检测可能不如LOF
2. AutoEncoder（自编码器）
- 原理：通过神经网络学习数据的压缩表示，重建误差大的点视为异常
- 结构：
- 编码器：将输入压缩到低维潜在空间
- 解码器：从潜在空间重建原始输入
- 异常检测：计算输入与重建的误差，误差大的点可能是异常
- 优点：
- 能学习复杂的非线性关系
- 适用于高维数据
- 无需标签数据
- 缺点：
- 需要大量训练数据
- 训练时间较长
- 可能过拟合正常数据
五、方法比较与选择建议
| 方法类别 | 适用场景 | 计算复杂度 | 参数敏感性 | 实时性 |
|---|---|---|---|---|
| 统计方法 | 一维/低维数据，正态分布 | 低 | 低 | 高 |
| 距离方法 | 中等维度，密度变化大 | 中高 | 中 | 中 |
| 聚类方法 | 任意形状簇，密度差异大 | 中 | 高 | 中 |
| 集成方法 | 高维数据，大规模数据集 | 中 | 低 | 中高 |
六、最新发展趋势（2025年）
- 混合方法：结合多种算法优势，如统计+机器学习
- 深度学习应用：Transformer、GAN等模型在异常检测中的应用
- 可解释性增强：提高异常检测结果的可解释性
- 在线学习：适应数据分布的动态变化
- 多模态异常检测：处理图像、文本、时序等多种数据类型
七、实操建议
- 数据预处理：确保数据质量，处理缺失值和异常值
- 特征工程：选择合适的特征表示
- 参数调优：交叉验证选择最优参数
- 评估指标：使用精确率、召回率、F1分数等指标
- 模型集成：考虑使用多个模型的集成结果
