1. 为什么我至今还在用PCA做人脸识别的基线方案
每次带新人做计算机视觉项目，总有人一上来就想上深度学习，张口就是卷积神经网络、注意力机制。我不反对这些前沿方法，但如果你连PCA（主成分分析）在人脸识别上是怎么跑通的都没搞明白，后面调参基本就是盲人摸象。PCA人脸识别，说白了就是特征脸方法，它的核心思想非常朴素：把一张人脸图像看成高维空间里的一个点，通过线性变换找到最能区分人脸的那几个方向，然后把所有人脸都投影到这些方向上，用投影系数作为特征去比对。
这个方案能做什么？它能在一套规整的人脸库上，用几十行Python代码实现一个可用的识别系统，训练速度快、可解释性强、对硬件要求极低。适合谁？适合刚入门计算机视觉的学生、需要快速搭建原型验证想法的开发者，以及想理解“降维”到底在降什么的从业者。我见过太多项目在早期阶段直接上大模型，结果数据量不够、标注质量差，最后效果还不如一个调好的PCA基线。所以别小看它，把它吃透，你对整个特征提取和分类流程的理解会上一个台阶。
这篇文章我会从设计思路、核心原理、代码实操、踩坑排查四个维度，把PCA人脸识别这件事讲透。所有代码基于Python，依赖numpy、scikit-learn、matplotlib和Pillow，不涉及任何敏感内容，纯粹是技术分享。
2. 整体设计思路与方案选型拆解
2.1 为什么选PCA而不是LDA或深度学习
人脸识别本质上是一个降维加分类的问题。一张100x100的灰度人脸图，拉直后就是10000维的向量。在这个维度上直接算距离，计算量大不说，而且因为人脸图像高度相关，很多维度其实是冗余的。PCA的作用就是找到一组正交基，把原始数据投影到低维空间，同时保留最大的方差。
那为什么不选LDA（线性判别分析）？LDA是有监督的，它最大化类间距离和类内距离的比值，理论上分类效果更好。但LDA在小样本情况下有个致命问题：类内散度矩阵往往是奇异的，因为样本数远小于维度。人脸库通常每个人只有几张到几十张图，维度却上万，所以LDA直接应用会翻车。PCA是无监督的，不需要标签，先降维再用简单分类器，反而更稳。
至于深度学习，那是另一个维度的武器。它需要大量数据和算力，而PCA在几百张图的规模上就能跑出可用的结果。我个人的经验是：数据量小于5000张、类别数小于100、对实时性要求不高时，PCA加最近邻分类器是一个性价比极高的选择。
2.2 整体流程设计
整个系统的流程可以拆成五步：
- 数据加载与预处理：读取人脸图像，统一尺寸，灰度化，归一化。
- 构建数据矩阵：每张图拉直成一个行向量，所有图堆叠成矩阵。
- PCA降维：计算均值脸，中心化，求协方差矩阵的特征向量，取前k个主成分。
- 特征投影：把训练集和测试集都投影到主成分空间，得到低维特征向量。
- 分类识别：用最近邻或余弦相似度做匹配，输出识别结果。
这个流程里，预处理和主成分数量的选择是两个最影响最终效果的环节。预处理没做好，后面再调参也是白搭；主成分数量选多了会过拟合，选少了会欠拟合。
2.3 关键参数与选型逻辑
| 参数 | 作用 | 常见取值 | 选择依据 |
|---|---|---|---|
| 图像尺寸 | 控制原始维度 | 50x50到128x128 | 太大计算慢，太小丢失细节 |
| 主成分数k | 保留多少特征 | 20到150 | 看累计方差贡献率，一般取85%到95% |
| 距离度量 | 衡量相似度 | 欧氏距离、余弦距离 | 欧氏距离对亮度敏感，余弦对方向敏感 |
| 分类器 | 输出类别 | 最近邻、SVM | 最近邻简单，SVM适合类别多的情况 |
我一般会先固定图像尺寸为100x100，然后通过累计方差贡献率曲线来确定k。这个曲线怎么画，后面实操部分会详细说。
3. 核心细节解析与实操要点
3.1 数据预处理：别让光照和尺寸毁了你的模型
人脸识别里，光照变化是头号杀手。同一张脸，在不同光照下，像素值可能差出好几倍。PCA对全局亮度变化很敏感，因为均值脸的计算会被亮度偏移带偏。所以预处理阶段必须做归一化。
我常用的做法是：先转灰度，然后用直方图均衡化把灰度分布拉均匀，最后把像素值缩放到0到1之间。直方图均衡化这一步很关键，它能显著降低光照不均的影响。你可以用OpenCV的equalizeHist，也可以用sklearn的HistogramEqualization，效果差不多。
尺寸统一也不能忽视。所有人脸图必须缩放到相同大小，否则拉直后的向量长度不一致，矩阵都拼不起来。我一般用Pillow的resize，插值方法选双线性或双三次，别用最近邻，否则会有锯齿。
注意：预处理阶段不要做数据增强，比如旋转、翻转。PCA对几何变换很敏感，增强后的图会引入额外的方差，干扰主成分的方向。数据增强留给深度学习用。
3.2 均值脸与中心化：PCA的灵魂步骤
PCA的第一步是计算均值脸。把所有训练图像的像素值按位置求平均，得到一张“平均脸”。这张脸看起来像一张模糊的人脸轮廓，它代表了数据集的中心。
然后每张图减去均值脸，这叫中心化。中心化的目的是把数据的重心移到原点，这样协方差矩阵才能正确反映数据的散布方向。如果你跳过这一步，PCA找到的主成分会偏向均值方向，而不是真正的变化方向。
我见过有人直接用原始像素做PCA，结果第一主成分几乎就是均值脸本身，识别率惨不忍睹。所以中心化是必须的，没有商量余地。
3.3 协方差矩阵与特征分解：计算上的坑
中心化后的数据矩阵X是m×n的，m是样本数，n是像素数。协方差矩阵C = X^T X / (m-1)，大小是n×n。如果n是10000，那C就是10000×10000，直接求特征向量计算量爆炸。
这里有个经典技巧：当样本数m远小于维度n时，不直接算X^T X的特征向量，而是算X X^T的特征向量。因为X X^T是m×m的，小得多。算出来的特征向量再左乘X^T，就得到原空间的特征向量。这个技巧叫“对偶PCA”或“快照法”，能省下大量计算。
具体推导是这样的：设v是X X^T的特征向量，对应特征值λ，则X X^T v = λv。两边左乘X^T，得到X^T X (X^T v) = λ (X^T v)。所以X^T v就是X^T X的特征向量。这个变换不改变特征值，只改变特征向量的表示空间。
提示：用numpy的
linalg.eigh而不是linalg.eig，因为协方差矩阵是对称的，eigh更快更稳定，而且返回的特征值自动升序排列，方便你取最大的几个。
3.4 选择主成分数量：累计方差贡献率曲线
主成分数量k的选择，直接决定模型是欠拟合还是过拟合。k太小，特征空间容纳不下人脸之间的差异；k太大，噪声也被当成特征，识别率反而下降。
我通常画一条累计方差贡献率曲线：横轴是主成分序号，纵轴是前k个主成分的方差和占总方差的比例。然后找曲线拐点，或者直接取累计贡献率达到90%到95%的那个k。
举个例子，在ORL人脸库（40人，每人10张，共400张）上，100x100的图像，前50个主成分通常能覆盖85%以上的方差，前100个能覆盖95%左右。但识别率最高的k往往在30到80之间，不一定是覆盖95%的那个点。所以最终k值要结合交叉验证来定，不能只看方差贡献率。
3.5 分类器选择：最近邻的细节
投影到低维空间后，每张图变成一个k维向量。识别时，计算测试样本与所有训练样本的距离，取最近的那个训练样本的标签作为预测结果。这就是最近邻分类器。
距离度量我一般用欧氏距离，因为投影后的特征向量各维度已经去相关了，欧氏距离比较合理。如果你发现识别率对亮度还是敏感，可以试试余弦距离，它只看向量方向，忽略长度。
最近邻有个变种叫k近邻，取最近的k个样本投票。在人脸识别里，k通常取1或3。k太大反而会模糊类别边界。我实测下来，k=1在ORL库上就能到90%以上的准确率，k=3有时能再涨一两个点，但不稳定。
4. 完整实操过程与核心代码实现
4.1 环境准备与依赖安装
我用的环境是Python 3.9，依赖库如下：
pip install numpy scikit-learn matplotlib pillow如果你要用OpenCV做直方图均衡化，再加一个opencv-python。不过为了减少依赖，我下面用Pillow和numpy自己实现均衡化，效果一样。
4.2 数据加载与预处理代码
假设你的人脸库按类别放在不同文件夹里，每个文件夹是一个人的多张照片。目录结构像这样：
dataset/ person_01/ 01.jpg 02.jpg ... person_02/ ...加载和预处理的代码如下：
import os import numpy as np from PIL import Image def load_images(root_dir, size=(100, 100)): images = [] labels = [] label_names = [] for label_idx, person_name in enumerate(sorted(os.listdir(root_dir))): person_dir = os.path.join(root_dir, person_name) if not os.path.isdir(person_dir): continue label_names.append(person_name) for img_name in os.listdir(person_dir): img_path = os.path.join(person_dir, img_name) img = Image.open(img_path).convert('L') img = img.resize(size, Image.BILINEAR) arr = np.array(img, dtype=np.float32) # 直方图均衡化 arr = histogram_equalization(arr) # 归一化到0-1 arr = arr / 255.0 images.append(arr.flatten()) labels.append(label_idx) return np.array(images), np.array(labels), label_names def histogram_equalization(img): hist, bins = np.histogram(img.flatten(), 256, [0, 256]) cdf = hist.cumsum() cdf_normalized = cdf * 255 / cdf[-1] img_eq = np.interp(img.flatten(), bins[:-1], cdf_normalized) return img_eq.reshape(img.shape)这段代码里，histogram_equalization是自己实现的，逻辑是先算累积分布函数，然后把原像素值映射到均匀分布上。注意cdf[-1]是总像素数，用它归一化保证输出在0到255之间。
4.3 PCA训练与投影代码
接下来是PCA的核心部分。我用numpy手动实现，这样你能看清每一步在干什么。
def pca_fit(X, n_components): # X: m x n, m个样本，n个特征 mean_face = np.mean(X, axis=0) X_centered = X - mean_face # 对偶PCA：算X X^T的特征向量 cov_small = np.dot(X_centered, X_centered.T) / (X_centered.shape[0] - 1) eigenvalues, eigenvectors_small = np.linalg.eigh(cov_small) # eigh返回升序，取最大的n_components个 idx = np.argsort(eigenvalues)[::-1] eigenvalues = eigenvalues[idx] eigenvectors_small = eigenvectors_small[:, idx] # 转换回原空间 eigenvectors = np.dot(X_centered.T, eigenvectors_small) # 归一化特征向量 eigenvectors = eigenvectors / np.linalg.norm(eigenvectors, axis=0) # 取前n_components个 components = eigenvectors[:, :n_components] return mean_face, components, eigenvalues[:n_components] def pca_transform(X, mean_face, components): X_centered = X - mean_face return np.dot(X_centered, components)这里有几个细节值得说。第一，cov_small除以了m-1，这是无偏估计的写法，虽然对特征向量方向没影响，但特征值的大小会变，影响方差贡献率的计算。第二，eigh返回的特征向量是按特征值升序排列的，所以要反转。第三，转换回原空间后，特征向量的模长不是1，必须归一化，否则投影后的尺度会乱。
4.4 识别与评估代码
训练完之后，把训练集和测试集都投影到主成分空间，然后用最近邻分类。
def predict(X_train_proj, y_train, X_test_proj): predictions = [] for test_vec in X_test_proj: distances = np.linalg.norm(X_train_proj - test_vec, axis=1) pred = y_train[np.argmin(distances)] predictions.append(pred) return np.array(predictions)评估的时候，我一般用留一法：每次留一张图做测试，其余做训练。这样能充分利用小样本数据。代码如下：
def leave_one_out(X, y, n_components): correct = 0 total = len(y) for i in range(total): X_train = np.delete(X, i, axis=0) y_train = np.delete(y, i) X_test = X[i:i+1] y_test = y[i] mean_face, components, _ = pca_fit(X_train, n_components) X_train_proj = pca_transform(X_train, mean_face, components) X_test_proj = pca_transform(X_test, mean_face, components) pred = predict(X_train_proj, y_train, X_test_proj) if pred[0] == y_test: correct += 1 return correct / total留一法在400张图上要跑400次PCA，每次都要做特征分解，计算量不小。如果你嫌慢，可以改成随机划分训练集和测试集，跑多次取平均。但留一法的好处是结果稳定，不受划分随机性影响。
4.5 确定最佳主成分数量
我写了一个循环，遍历不同的k值，画识别率曲线：
import matplotlib.pyplot as plt k_values = [10, 20, 30, 40, 50, 60, 80, 100, 120, 150] accuracies = [] for k in k_values: acc = leave_one_out(X, y, k) accuracies.append(acc) print(f"k={k}, accuracy={acc:.4f}") plt.plot(k_values, accuracies, marker='o') plt.xlabel('Number of Principal Components') plt.ylabel('Accuracy') plt.title('PCA Face Recognition Accuracy vs k') plt.grid(True) plt.show()在ORL库上，我实测的曲线通常是先上升，在k=40到60之间达到峰值，然后缓慢下降。峰值识别率能到92%到95%。如果你的人脸库光照变化大，峰值可能低一些，但趋势类似。
4.6 可视化特征脸
特征脸就是主成分向量重塑回图像形状。可视化出来能帮你直观理解PCA在捕捉什么。
def show_eigenfaces(components, size=(100, 100), n=10): fig, axes = plt.subplots(2, 5, figsize=(12, 6)) for i, ax in enumerate(axes.flat): if i >= n: break eigenface = components[:, i].reshape(size) ax.imshow(eigenface, cmap='gray') ax.set_title(f'PC {i+1}') ax.axis('off') plt.tight_layout() plt.show()前几个特征脸通常像明暗交替的波纹，代表全局光照变化；后面的特征脸会逐渐出现眼睛、鼻子、嘴巴的轮廓，代表局部细节。这个可视化对理解PCA非常有用。
5. 常见问题与排查技巧实录
5.1 识别率低得离谱，可能是什么原因
我整理了一个排查表，按可能性从高到低排列：
| 问题现象 | 可能原因 | 排查方法 | 解决方案 |
|---|---|---|---|
| 识别率接近随机 | 标签和图像没对齐 | 打印几个样本的标签和图像 | 检查加载代码的循环顺序 |
| 识别率低于50% | 没做中心化 | 检查pca_fit里有没有减均值 | 加上X - mean_face |
| 识别率波动大 | 主成分数不合适 | 画k-准确率曲线 | 选峰值对应的k |
| 特定人总是错 | 该人样本光照差异大 | 可视化该人的所有图 | 加强预处理或剔除异常样本 |
| 训练集准测试集差 | 过拟合 | 对比训练和测试准确率 | 减少k或增加正则 |
5.2 计算太慢怎么办
留一法在400张图上跑一次要几十秒，如果图像尺寸大或者样本多，可能要好几分钟。优化方向有几个：
第一，降低图像分辨率。100x100已经够用了，没必要上200x200。第二，用对偶PCA，这个前面已经讲了，能把协方差矩阵从n×n降到m×m。第三，预计算一次PCA，然后所有测试样本共用同一组主成分，而不是每个测试样本重新训练。留一法之所以慢，是因为每次都要重新训练，如果你改成固定训练集，速度会快很多。
提示：如果只是做原型验证，可以先用小规模数据跑通流程，再逐步扩大数据量。别一上来就全量跑，调试阶段浪费时间。
5.3 光照变化太强，PCA扛不住怎么办
PCA对光照的鲁棒性确实有限。除了直方图均衡化，还有几个技巧：
一是差分脸。不做绝对像素的PCA，而是做“当前图减均值脸”的PCA，这样光照的全局偏移被减掉了。二是局部二值模式。先对人脸图做LBP变换，再对LBP直方图做PCA。LBP对光照不敏感，但会丢失一些全局信息。三是多尺度处理。把图像分成小块，每块单独做直方图均衡化，再拼起来。
我试过在ORL库上，直方图均衡化能把识别率从85%提到92%左右。如果光照变化特别剧烈，比如户外人脸，PCA可能就不够用了，这时候要考虑深度学习。
5.4 类别数很多时，最近邻还够用吗
最近邻在类别数少的时候很稳，但类别数超过100、每类样本又少的时候，容易出现“最近邻不属于同一人”的情况。这时候可以换SVM。把PCA投影后的特征喂给SVM，用线性核或RBF核，识别率通常能再涨几个点。
不过SVM需要调参，C和gamma的选择对结果影响很大。我一般用网格搜索，C取0.1到100，gamma取0.001到1。如果嫌麻烦，直接用最近邻也能接受，毕竟PCA加最近邻的组合胜在简单。
5.5 训练集和测试集划分的坑
小样本人脸识别里，绝对不能随机划分。因为同一个人在不同光照、表情下的图差异可能很大，随机划分会导致训练集和测试集分布不一致。正确做法是按人划分：每个人的图，一部分做训练，一部分做测试。或者直接用留一法。
我见过有人把同一个人的图随机打乱后划分，结果训练集和测试集里有几乎一样的图，准确率虚高到99%，实际部署时惨不忍睹。这个坑一定要避开。
5.6 特征脸可视化时全黑或全白
如果你可视化特征脸时发现全是黑或全是白，大概率是归一化没做好。特征向量的值可能非常小，直接imshow会看不到。解决办法是先做min-max归一化到0到1，再显示。或者用plt.imshow(eigenface, cmap='gray', vmin=-0.1, vmax=0.1)手动设置显示范围。
另外，特征脸的符号是不确定的。特征向量乘以-1还是特征向量，所以特征脸可能整体反相。这不影响识别，但可视化时看起来会不一样。
6. 我踩过的坑和最后分享几个实用技巧
第一个坑是图像通道顺序。Pillow读出来是RGB，转灰度用convert('L')没问题。但如果你用OpenCV读，默认是BGR，转灰度前要先转RGB，否则灰度值会偏。我因为这个bug调试了一下午，最后发现是通道顺序搞反了。
第二个坑是浮点数精度。计算协方差矩阵时，如果数据没归一化，像素值在0到255之间，平方后可能到65025，累加400个样本就是两千多万，float32可能溢出。所以一定要先归一化到0到1，再用float64计算。
第三个技巧是增量PCA。如果数据量太大，内存放不下，可以用sklearn的IncrementalPCA，分批拟合。虽然本文是手动实现，但实际项目中用sklearn的PCA或IncrementalPCA更省心，接口也统一。
最后一个技巧是保存模型。训练好的均值脸和主成分向量用np.save存下来，下次识别直接加载，不用重新训练。部署的时候，把这两个数组和标签映射表打包，就是一个完整的识别模型。
这个方案后续还可以扩展：比如加入人脸检测，先用Haar级联或MTCNN把人脸框出来再识别；或者加入多帧投票，视频流里连续几帧的识别结果取众数，能显著降低误识别率。PCA不是终点，但它是一个非常好的起点，把它的每一步都搞明白，后面上深度学习你会少走很多弯路。
