协方差矩阵的计算其实是把“一维协方差公式”推广到多维。我按「定义 → 手算公式 → 矩阵形式 → 实际例子 → 常见坑」来给你一套完整、考试/科研都通用的理解。
一、先给结论（最常用公式）
设你有
- 样本数：(n)
- 特征维度：(d)
- 数据矩阵
[
X=
\begin{bmatrix}
x_{11}&x_{12}&\cdots&x_{1d}
x_{21}&x_{22}&\cdots&x_{2d}
\vdots&\vdots& &\vdots
x_{n1}&x_{n2}&\cdots&x_{nd}
\end{bmatrix}
]
✅ 样本协方差矩阵（最常见）
[
\boxed{
\Sigma
\frac{1}{n-1}
\sum_{i=1}^{n}
(\mathbf{x}_i-\bar{\mathbf{x}})
(\mathbf{x}_i-\bar{\mathbf{x}})^{T}
}
]
二、每个元素怎么算（最直观）
第 (j,k) 个元素是：
[
\boxed{
\text{Cov}(X_j,X_k)
\frac{1}{n-1}
\sum_{i=1}^n
(x_{ij}-\bar x_j)(x_{ik}-\bar x_k)
}
]
- 对角线：方差
- 非对角线：协方差
三、矩阵形式（线代最爱）
先对数据去均值：
[
\tilde X = X - \mathbf{1}\bar{\mathbf{x}}^{T}
]
协方差矩阵：
[
\boxed{
\Sigma
\frac{1}{n-1}
\tilde X^{T}\tilde X
}
]
📌 这一步在PCA、SVD、特征分析里非常重要。
四、一个完整手算例子（2 维）
样本：
[
(2,3),\ (4,5),\ (6,8)
]
1️⃣ 均值
[
\bar x=4,\quad \bar y=\frac{16}{3}
]
2️⃣ 去均值
[
\begin{array}{c|cc}
& x-\bar x & y-\bar y
\hline
1 & -2 & -\frac{7}{3}
2 & 0 & -\frac{1}{3}
3 & 2 & \frac{8}{3}
\end{array}
]
3️⃣ 协方差
[
\text{Cov}(x,y)
\frac{1}{2}
\left[
(-2)(-\tfrac{7}{3})
+
0(-\tfrac{1}{3})
+
2(\tfrac{8}{3})
\right]
=5
]
4️⃣ 协方差矩阵
[
\boxed{
\Sigma=
\begin{bmatrix}
4 & 5
5 & \tfrac{19}{3}
\end{bmatrix}
}
]
五、分母为什么是 (n-1)？
| 分母 | 用途 |
|---|---|
| (n) | 极大似然估计（MLE） |
| (n-1) | 无偏估计（统计/考试常用） |
👉 考试：默认用 (n-1)
👉 深度学习里有时用 (n)
六、协方差矩阵的性质（必背）
- 对称矩阵
- 半正定
- 对角线 ≥ 0
- 特征向量正交（PCA 基础）
