简介：一套基于卷积神经网络的人脸表情识别系统完整方案，面向高校毕业设计、课程设计以及深度学习实战入门者，解决人脸表情分类从数据准备、模型训练到成果展示的整套流程问题。内容涵盖 Python 源码、Fer2013 等表情数据集、预训练模型、论文文档与答辩 PPT。压缩包共 36 个文件，以 Py 源码和 Jupyter Notebook 为核心，辅以 docx/pdf/pptx 论文与答辩材料、pkl 模型权重、xml 人脸检测器配置及 mp4 演示视频，整体大小约 446MB，目录按模型、数据、文档、模板等模块组织，便于对照学习。项目实现了 CNN、VGG、ResNet 多种网络结构，并提供模型训练、测试、效果对比、数据增强与可视化脚本，模型已通过本地编译调试，可直接运行复现结果。已有 55 人浏览学习，适合需要完成人脸表情识别课程设计或毕业设计的同学作为高分参考项目直接上手。
1. 从一张照片到七种表情：完整的人脸表情识别工程入口
当摄像头框住你的脸，系统在零点几秒内判断出你是高兴还是惊讶，这种体验在本地用 Python 就能做出来。我最近完整复现了一个高分人脸表情识别项目，它没有停留在“能运行”的层面，而是把 CNN、VGG、ResNet 三套模型源码、FER2013 数据集、训练好的 pkl 权重、论文和答辩 PPT 全部打包在一起，评审分 98。无论你是正在做毕业设计的学生，还是想快速掌握图片分类实战的 Python 开发者，都可以沿着“数据预处理 → 模型训练 → 实时推理 → 结果验证”这条链路把它吃透。下面按我自己的复现顺序，把关键代码和容易踩的坑逐一说明。
2. 卷积神经网络选型：为什么在 FER2013 上同时保留 CNN、VGG 和 ResNet
2.1 FER2013 数据集的结构与预处理流程
FER2013 是入门人脸表情识别绕不开的数据集，每张图都是 48×48 像素的灰度图，共 7 个类别。项目里的 dataset 目录通常就是经过解析后的图片，也可能是原始 CSV。data_process.py 要解决的核心问题，是把 CSV 中长度为 2304 的像素字符串恢复成二维矩阵。对于刚接触工程的人来说，这一步最容易出错的位置是数据维度：2304 正好等于 48×48，如果 reshape 时填错数字，后面所有训练数据都会错位。
我一般会这样解析 CSV：
import csv import numpy as np from PIL import Image csv_path = "dataset/fer2013.csv" output_dir = "dataset/images" with open(csv_path, "r") as f: reader = csv.reader(f) header = next(reader) # 跳过表头 for idx, row in enumerate(reader): emotion = int(row[0]) pixels = np.array(row[1].split(), dtype=np.uint8).reshape(48, 48) img = Image.fromarray(pixels, mode="L") img.save(f"{output_dir}/{emotion}_{idx}.png")这段代码把 CSV 中每一行的 emotion 和像素数组提取出来，转成 48×48 的灰度图。row[1].split()得到的是字符串列表，转成 uint8 后再 reshape，能省掉很多不必要的类型转换。实际项目里还会多一步数据划分，把图片按训练、验证、测试子目录分开，这部分对应 data_separation.py。
FER2013 的类别分布并不均衡，Disgust 只有几百张样本，Happy 却有几千张。如果不做任何处理，模型会天然偏向多数类。常见的预处理除了解析图片，还需要记录类别分布，确保后面做增强或加权时有的放矢。
2.2 从 CNN 到残差网络的精度边界
表情识别本质上是一个图像分类任务，难点在于表情变化微妙、光照和姿态干扰大。浅层 CNN 只能学到边缘和纹理；VGG 通过反复堆叠 3×3 卷积扩大感受野；ResNet 则用残差连接解决网络加深后的退化问题。在 48×48 这样的小分辨率输入下，网络深度不是越深越好，三层卷积的 CNN 已经能达到不错的基线水平，VGG 和 ResNet 则能进一步逼近更高的准确率，前提是数据增强做够。
项目里同时提供 model_CNN.py、model_VGG.py、model_ResNet.py 和对应 test 脚本，就是让你在同一数据集上跑三组实验。这样做的好处是：既能快速验证 CNN 基线，也能观察残差结构带来的提升幅度。设计论文里的对比实验，不需要自己去造新网络，直接复用这三个脚本即可。
| 模型 | 核心结构 | 在 FER2013 上的常见表现 |
|---|---|---|
| CNN | 3-4 层卷积 + 全连接 | 60% 左右 |
| VGG | 多层 3×3 卷积堆叠 | 比 CNN 高 3-5 个百分点 |
| ResNet | 残差块 + 跳跃连接 | 与 VGG 相近，收敛更稳定 |
这里的准确率不是绝对的，和是否做数据增强、是否使用学习率衰减关系很大。如果你在自己的实验里发现 VGG 和 CNN 差不多，先检查训练集划分是否保持一致，再检查有没有用同样的随机种子。
2.3 数据划分与可视化验证
在 2.1 提到 data_separation.py，这步专门负责把图片按集合划分。常见的划分方式有两种：按原始 CSV 的 Usage 字段分，或按类别比例随机分。为了保证测试集不参与训练，我一般会在划分后单独打印每类样本数，确认没有类别缺失。
data_view.py 则用来可视化样本和统计分布。最简单的实现是读取每个子目录下的图片数量：
import os from collections import Counter root = "dataset/images" counter = Counter() for file in os.listdir(root): label = file.split("_")[0] counter[label] += 1 print(counter.most_common())这里以图片文件名的前缀作为标签，统计每类图片数量。实际项目中，如果发现某个类别样本特别少，比如 Disgust 在 FER2013 里只有几百张，需要优先做数据增强或类别加权，否则模型会把该类别直接忽略。data_view.py里一般还会画出几张样本图，检查图片是否损坏、是否混入非人脸图。这一步虽然简单，却能避免训练到一半才发现数据目录错了的尴尬。
3. 从 model_CNN.py 到 model_ResNet.py：训练参数的复现与对比
3.1 三种模型的核心网络结构
打开 model_CNN.py，你会发现它没有太多花哨设计，基本是一个可快速复现的基线网络。常见结构是三层卷积加两层全连接，卷积后接 BatchNorm 与 ReLU，再用 MaxPooling 缩小特征图。model_VGG.py 则把卷积层数量增加，并用多个 3×3 卷积堆叠来模拟更大感受野。model_ResNet.py 引入了残差块，核心是用一条短接线把输入直接加到卷积输出上。
参考实现如下，以 CNN 为例：
import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes=7): super().__init__() self.features = nn.Sequential( nn.Conv2d(1, 32, kernel_size=3, padding=1), nn.BatchNorm2d(32), nn.ReLU(inplace=True), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.BatchNorm2d(64), nn.ReLU(inplace=True), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size=3, padding=1), nn.BatchNorm2d(128), nn.ReLU(inplace=True), nn.MaxPool2d(2), ) self.classifier = nn.Sequential( nn.Flatten(), nn.Linear(128 * 6 * 6, 256), nn.ReLU(inplace=True), nn.Dropout(0.5), nn.Linear(256, num_classes), ) def forward(self, x): return self.classifier(self.features(x))输入是 1 通道 48×48 灰度图，经过三次下采样后特征图变为 6×6，所以全连接层的输入维度是128*6*6。Dropout(0.5)放在全连接之前，防止过拟合。如果你把padding=1去掉，输出尺寸会变小，后面全连接层的维度也要跟着调整，这是最常见的维度不匹配报错来源。
VGG 和 ResNet 的模板可以从项目里的VGG_model_template.py和ResNet_model_template.py找到，它们的网络结构只比上面多出几个卷积块和残差连接，训练流程完全通用。在实际操作时，建议先跑通 CNN，再切到 VGG，最后上 ResNet，这样每一步的问题都更容易定位。
3.2 训练超参数与损失函数设置
这是最容易影响结果的部分。FER2013 上很多人训练不动，不是模型问题，而是学习率和 batch size 没配对。常见的配置如下：
| 超参数 | 推荐值 | 说明 |
|---|---|---|
| 输入尺寸 | 48×48 灰度 | FER2013 原始尺寸，不要放大 |
| batch size | 128 | 显存不足时降到 64 |
| 学习率 | 0.001 | Adam 优化器常用初始值 |
| 优化器 | Adam | 收敛快，后续可切 SGD 微调 |
| epoch | 60-100 | 早停设在 10 个 epoch |
| 损失函数 | CrossEntropyLoss | 7 分类任务默认选择 |
训练脚本可以用命令行参数控制这些值，model_CNN.py 内部通过argparse解析。我一般会这样启动：
python model_CNN.py --epochs 80 --batch-size 128 --lr 0.001 --gpu 0--gpu 0指定使用第一块显卡；没有 GPU 时去掉即可，但训练时间会明显变长。模型内部会把输入统一转为torch.float32，像素值归一化到 0-1，标签转成长整型，这是CrossEntropyLoss的硬性要求。训练过程中每个 epoch 结束会保存一次 checkpoint，项目里的model_resnet.pkl就是这样得到的权重文件。
如果你用 CPU 训练，建议把 batch size 降到 32 并减少 epoch，否则一次跑十几个小时很正常。另外，学习率不要一开始就设 0.1，FER2013 不是 ImageNet，0.001 到 0.0001 区间更安全。验证集准确率连续多个 epoch 不上升时，把学习率乘以 0.1，让损失函数继续下探。
3.3 多模型对比实验与结果解读
项目中的 model_All_Compare.py 把三个模型放到同一测试集上比较。运行前需要确认三个脚本都保存了权重，然后执行：
python model_All_Compare.py --test-dir dataset/test --weight-dir checkpoints脚本会依次加载 CNN、VGG、ResNet 的权重，分别计算准确率、损失和每类别的召回率，最后画出一条折线图。对比时要注意：不要只看 top-1 准确率，还要看模型在 Disgust 这类少样本类别上的表现。如果 ResNet 的准确率并没有显著高于 CNN，先检查数据增强是否一致，而不是急着换网络结构。
保存模型时官方常用方法有两种：
# 保存 state_dict，推荐 torch.save(model.state_dict(), "model_resnet.pkl") # 加载 model.load_state_dict(torch.load("model_resnet.pkl"))如果直接torch.save(model, ...)，加载时仍然需要模型类定义，换机器跑容易报错。state_dict方式只保存参数，配合ResNet_model_template.py里的网络定义就能恢复完整模型。项目里的 .pkl 文件如果直接torch.load报错，大概率是保存方式不同，需要先检查结构。
4. 加载预训练模型进行实时人脸表情识别
4.1 表情类别映射与 image_emotion_mapping.py
训练好的模型输出是一个 7 维向量，必须映射成可读的标签。image_emotion_mapping.py 的作用就是维护这个映射关系。常见的做法是定义常量字典：
EMOTION_MAP = { 0: "Angry", 1: "Disgust", 2: "Fear", 3: "Happy", 4: "Sad", 5: "Surprise", 6: "Neutral", } def argmax_to_emotion(logits): idx = int(torch.argmax(logits, dim=1).item()) return EMOTION_MAP[idx]argmax沿维度 1 取最大值索引，再查字典。注意如果网络输出已经是 softmax 后的概率，argmax的结果与 softmax 前一致，但为了数值稳定，一般直接在原始 logits 上取 argmax，避免计算指数时溢出。
表情类别映射表看似简单，却经常在答辩时被问到。你需要能解释为什么类别顺序是 0 到 6，而不是随机排列。这个顺序来自 FER2013 原始数据集的标签定义，后面所有训练脚本和测试脚本都依赖这个顺序，如果手动改错，结果会全部错位。
4.2 基于 Haar 级联检测器的人脸框提取
项目根目录的haarcascade_frontalface_default.xml是 OpenCV 自带的人脸检测器，适合正脸和接近正脸的场景。用它可以快速框出人脸区域，再交给表情模型判断。下面这段代码把人脸检测和表情分类串起来：
import cv2 import torch from torchvision import transforms face_cascade = cv2.CascadeClassifier("haarcascade_frontalface_default.xml") model = load_resnet_model() model.eval() transform = transforms.Compose([ transforms.ToPILImage(), transforms.Grayscale(num_output_channels=1), transforms.Resize((48, 48)), transforms.ToTensor(), transforms.Normalize(mean=[0.5], std=[0.5]), ]) def predict_emotion(face_img): tensor = transform(face_img).unsqueeze(0) with torch.no_grad(): output = model(tensor) return EMOTION_MAP[int(torch.argmax(output, dim=1))] img = cv2.imread("test.jpg") gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5, minSize=(48, 48)) for (x, y, w, h) in faces: face = gray[y:y+h, x:x+w] emotion = predict_emotion(face) cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2) cv2.putText(img, emotion, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2)detectMultiScale的scaleFactor=1.1表示每次按 1.1 倍缩小搜索窗口，值越小越准但越慢；minNeighbors=5表示目标区域至少被检测到 5 次才会保留，可以减少误检；minSize设为 48×48，低于这个尺寸的人脸区域没有足够像素供模型判断。transform里的归一化参数要和训练时一致，否则模型输入分布偏移，准确率会掉。
load_resnet_model()对应项目里的 ResNet 模型类加载逻辑。如果你在运行时报模型参数未初始化，说明只定义了网络结构但没有加载权重。调用load_state_dict前一定要确认模型类已经实例化。
4.3 视频流推理与性能优化
项目里的video example_dsh.mp4可以直接用来验证实时效果，用摄像头则把传入路径改成 0 即可。循环里需要控制推理频率，常见做法是每读 3 帧跑一次检测：
cap = cv2.VideoCapture("video example_dsh.mp4") frame_id = 0 while cap.isOpened(): ret, frame = cap.read() if not ret: break if frame_id % 3 != 0: frame_id += 1 continue gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces = face_cascade.detectMultiScale(gray, 1.1, 5, minSize=(48, 48)) for (x, y, w, h) in faces: face = gray[y:y+h, x:x+w] label = predict_emotion(face) cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2) cv2.putText(frame, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2) cv2.imshow("FER", frame) if cv2.waitKey(1) & 0xFF == ord("q"): break frame_id += 1 cap.release() cv2.destroyAllWindows()跳帧会让画面看起来有点卡，但能明显提升 FPS。如果要更顺滑，可以把 Haar 检测得到的矩形区域保存为上一帧结果，下一帧在没有新检测结果时沿用旧框。cv2.waitKey(1)里的 1 是等待毫秒数，调大后窗口刷新变慢，CPU 占用下降。
视频文件中的路径包含空格时，OpenCV 有时会读不出来。遇到cv2.error或黑屏，先用cap.isOpened()判断，失败时换成绝对路径，或者把视频文件重命名成不带空格的example.mp4。项目里的example_dsh.mp4命名没有空格，基本不会触发这个问题。
4.4 常见坑点：模型输入尺寸、灰度通道与概率输出
实时推理最常见的报错是 tensor 维度对不上。训练时输入是(N, 1, 48, 48)，推理时如果直接拿(48, 48, 1)的 numpy 数组用torch.from_numpy，会丢掉 batch 和 channel 维度。正确做法是先transform(face).unsqueeze(0)，再传给模型。
另一个坑在图像通道。OpenCV 读灰度图默认还是(H, W)，但脸部裁剪后有可能变成三通道。transforms.Grayscale(num_output_channels=1)可以统一转成单通道。
| 报错信息 | 常见原因 | 解决方式 |
|---|---|---|
| RuntimeError: Expected 4D input | 缺少 batch 维度 | 调用.unsqueeze(0) |
| KeyError: 'conv1.weight' | 模型类与 state_dict 不匹配 | 检查网络结构及 num_classes |
| IndexError: index out of range | 标签超出 0-6 | 检查映射字典和类别数 |
| OpenCV Error: Assertion failed | 图片路径为空 | 检查视频流路径或摄像头编号 |
还有一点要提醒：有些开源实现里给人脸检测器输出的概率做阈值过滤，比如只显示置信度大于 0.7 的表情。如果你直接用torch.argmax，所有区域都会得到一个结果，表情不明显时会出现误判。项目里的 image_emotion_mapping.py 如果只做索引映射，你可以在此基础上加一个置信度判断：
prob = torch.softmax(output, dim=1) max_prob, idx = torch.max(prob, dim=1) if max_prob.item() > 0.7: label = EMOTION_MAP[idx.item()] else: label = "Uncertain"这个技巧在答辩演示时很实用，可以让系统看起来更“稳重”。
5. 用混淆矩阵和测试集脚本验证模型，避开答辩现场翻车
5.1 批量测试脚本怎么写
在答辩前，你必须跑通一次完整的测试流程，而不是只靠视频 demo。项目里的 model_CNN_test.py、model_VGG_test.py 和 model_ResNet_test.py 都是干这个的。它们的逻辑是遍历测试目录，对每张图片提取人脸区域，送到模型里得到预测标签，再与文件名前缀的标签比较。
我把三个 test 脚本的共同步骤整理成一个通用脚本：
import os import torch from PIL import Image from torchvision import transforms from sklearn.metrics import accuracy_score test_dir = "dataset/test" transform = transforms.Compose([ transforms.Grayscale(num_output_channels=1), transforms.Resize((48, 48)), transforms.ToTensor(), transforms.Normalize(mean=[0.5], std=[0.5]), ]) model = build_resnet_model() model.load_state_dict(torch.load("model_resnet.pkl")) model.eval() y_true, y_pred = [], [] for file in sorted(os.listdir(test_dir)): if not file.endswith(".png"): continue label = int(file.split("_")[0]) img = Image.open(os.path.join(test_dir, file)) tensor = transform(img).unsqueeze(0) with torch.no_grad(): out = model(tensor) pred = int(torch.argmax(out, dim=1)) y_true.append(label) y_pred.append(pred) print("accuracy:", accuracy_score(y_true, y_pred))这段脚本把测试图片逐张推理，最后用 sklearn 的accuracy_score计算整体准确率。build_resnet_model()对应项目里的 ResNet_model_template.py，你需要把模型类导入并实例化。注意load_state_dict需要严格匹配键名，如果你发现加载后维数不对，八成是训练脚本里改了最后的全连接层输出数量，代码里写的是 7，而当前模型类写成了 1000。
5.2 混淆矩阵与误判分析
准确率只能反映整体水平，答辩时老师更爱问“哪类最容易错”。这时候要输出混淆矩阵。以下代码用 sklearn 生成 7×7 矩阵，并用 matplotlib 画出来：
import matplotlib.pyplot as plt from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay cm = confusion_matrix(y_true, y_pred) disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=list(EMOTION_MAP.values())) disp.plot(cmap="Blues") plt.xticks(rotation=45) plt.tight_layout() plt.savefig("confusion_matrix.png", dpi=150)confusion_matrix的行是真实标签，列是预测标签。对角线越亮越好。FER2013 上常见的混淆是 Fear 和 Surprise 互相认错，因为两者在嘴部和眼部的张幅上很接近；Sad 与 Neutral 也容易混，因为中性表情和轻度悲伤的特征边界模糊。
如果发现你的混淆矩阵里 Disgust 几乎全部被认成其他类，不要意外，这个类别在 FER2013 中样本量最少。应对方法是在 data_process.py 里给 Disgust 做过采样，或者在损失函数中传入weight参数，给少数类更大的权重。调整后重新训练，再看混淆矩阵是不是把对角线修复了。
最后，把混淆矩阵保存为 PNG 放入答辩 PPT，比贴十行训练日志更有说服力。如果时间紧张，直接把model_All_Compare.py输出的对比图放在论文实验结果章节，也是一个完整的数据来源。
本文还有配套的精品资源，点击获取
