简介：这份资源是面向人工智能、深度学习方向的毕业设计与课程设计参考项目，聚焦人脸情绪识别这一细分课题，适合具备Python基础、希望理解CNN表情分类完整链路的本科或研究生使用。压缩包共11个文件，约11.89MB，包含3个py脚本分别承担训练、主逻辑与调用接口，另有h5与json模型权重及结构文件、caffemodel与prototxt人脸检测模型、csv格式的FER-2013数据集、md说明文档及jpg示例图，覆盖从数据到推理的完整环节。项目以卷积神经网络为核心，结合YOLO类检测思路先定位人脸再裁剪归一化，最终输出快乐、悲伤、愤怒、惊讶等情绪标签，可帮助读者掌握数据预处理、模型训练、权重保存与接口封装的具体做法。目前已有60人学习下载，适合作为入门情绪识别、复现实验与二次开发的起点。
1. 人脸情绪识别系统：从一张证件照到七类情绪的工程落地
很多人第一次接触人脸情绪识别，是拿一张证件照去测，结果模型给出的情绪概率七类几乎平均分布，最高的一类还不到 0.3。这不是模型坏了，而是证件照本身没有情绪表达——中性脸在 FER2013 这类数据集里占比过高，模型学到的先验就是「大部分脸都是中性」。基于深度学习的人脸情绪识别系统，要解决的核心问题不是「能不能分类」，而是「在真实场景下，人脸检测、对齐、光照归一化、时序平滑这几步怎么串起来，才能让输出稳定可用」。它适合两类人：一类是想把情绪识别接进在线课堂状态检测、客服质检、互动装置的产品和算法工程师；另一类是正在做深度学习实战项目案例、想找一个端到端可复现 pipeline 的学生。下面按「数据怎么准备 → 模型怎么选 → 训练怎么调 → 部署怎么稳」的顺序拆开讲，中间会给出可直接抄的代码和参数。
2. 数据管线：从原始人脸图到可训练张量
2.1 主流数据集选型与标签体系对齐
人脸情绪识别常用的公开数据集有 FER2013、RAF-DB、AffectNet、CK+。选哪个取决于你的目标场景：做课堂状态检测，学生脸小、遮挡多、光照杂，AffectNet 的野外样本更接近；做实验室 demo，FER2013 的 48×48 灰度图足够跑通流程。标签体系上，常见的是 Ekman 六类加中性共七类：angry、disgust、fear、happy、sad、surprise、neutral。不同数据集的标签命名和数量不一致，必须先做映射表，否则训练时会出现某一类永远预测不到的情况。
| 数据集 | 样本量级 | 分辨率 | 标签数 | 适用场景 |
|---|---|---|---|---|
| FER2013 | 约 3.5 万 | 48×48 灰度 | 7 | 快速验证、教学 |
| RAF-DB | 约 1.5 万 | 100×100 彩色 | 7 | 精度对比 |
| AffectNet | 约 40 万 | 原图 | 8（含 contempt） | 野外场景、课堂检测 |
| CK+ | 约 1000 序列 | 原图 | 7 | 时序建模验证 |
我一般会先统一到七类，把 contempt 合并进 neutral 或直接丢弃，避免类别过细导致样本不足。映射逻辑写成字典，放在数据加载脚本顶部，后面所有数据集都走同一套映射。
2.2 人脸检测与对齐的最小可跑代码
原始图片不能直接送进情绪分类网络，必须先检测人脸框并做关键点对齐。常见做法是用 MTCNN 或 RetinaFace 做检测，再用五点关键点做仿射变换，把眼睛和嘴巴对齐到固定位置。下面这段是本地跑通的最小命令，依赖 facenet-pytorch 和 opencv。
import cv2 import torch from facenet_pytorch import MTCNN from PIL import Image import numpy as np # 初始化检测器，keep_all=False 表示只保留置信度最高的一张脸 mtcnn = MTCNN(keep_all=False, device='cuda' if torch.cuda.is_available() else 'cpu') def align_face(img_path, output_size=224): img = Image.open(img_path).convert('RGB') # 检测关键点，返回 shape 为 (5,2) 的数组 boxes, probs, landmarks = mtcnn.detect(img, landmarks=True) if boxes is None: return None # 用双眼和嘴巴中心做仿射变换，把脸摆正 left_eye, right_eye, nose, mouth_left, mouth_right = landmarks[0] eye_center = ((left_eye[0] + right_eye[0]) / 2, (left_eye[1] + right_eye[1]) / 2) dx = right_eye[0] - left_eye[0] dy = right_eye[1] - left_eye[1] angle = np.degrees(np.arctan2(dy, dx)) # 以双眼中心为原点旋转 M = cv2.getRotationMatrix2D(eye_center, angle, 1.0) rotated = cv2.warpAffine(np.array(img), M, (img.width, img.height), flags=cv2.INTER_CUBIC) # 按检测框裁剪并缩放到固定尺寸 x1, y1, x2, y2 = boxes[0] face = rotated[int(y1):int(y2), int(x1):int(x2)] face = cv2.resize(face, (output_size, output_size)) return face if __name__ == '__main__': face = align_face('test.jpg') if face is not None: cv2.imwrite('aligned.jpg', cv2.cvtColor(face, cv2.COLOR_RGB2BGR))逻辑说明：MTCNN 的 detect 返回框和五点关键点，先按双眼连线角度旋转整图，再按框裁剪，这样能消除头部倾斜带来的类内差异。参数上，output_size 设 224 是为了接 ResNet 系列；如果要用轻量模型如 MobileNetV3，可以降到 112 或 96，推理速度会明显提升。keep_all 设 False 是因为情绪识别通常只关心画面主体，多人场景需要改成 True 再逐脸处理。
2.3 数据增强的边界：哪些增强会破坏情绪线索
情绪识别和通用图像分类不同，水平翻转要谨慎——左右脸对称性对情绪影响不大，可以翻；但垂直翻转、大角度旋转会破坏眉毛和嘴角的相对位置，模型会学到错误特征。我一般只用随机水平翻转、±10 度以内旋转、亮度对比度微调。颜色抖动幅度要小，因为肤色变化本身可能被模型误当成情绪线索。下面是一个可用的增强配置。
from torchvision import transforms train_tf = transforms.Compose([ transforms.RandomHorizontalFlip(p=0.5), transforms.RandomRotation(degrees=10), transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.1), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) val_tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ])注意 RandomRotation 的 degrees 不要超过 15，ColorJitter 的 saturation 不要超过 0.2，否则验证集准确率会掉 3 到 5 个点。这是血泪经验，不是理论推导。
3. 模型选型与训练：CNN 还是 ViT，参数怎么设
3.1 骨干网络对比：ResNet、MobileNet、ViT 的取舍
情绪识别本质是细粒度分类，类间差异小，尤其是 fear 和 surprise、sad 和 neutral 容易混。ResNet-50 是稳妥的基线，ImageNet 预训练权重能提供不错的底层特征。MobileNetV3 适合端侧部署，参数量小，但精度通常比 ResNet 低 2 到 4 个点。ViT 在数据量足够时表现更好，但 FER2013 这种小数据集上容易过拟合，需要强增强和较长 warmup。我一般先用 ResNet-50 跑通，再根据部署约束换 MobileNetV3 或 EfficientNet-B0。
import torch.nn as nn from torchvision import models def build_model(num_classes=7, backbone='resnet50', pretrained=True): if backbone == 'resnet50': model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V2 if pretrained else None) # 替换最后一层全连接，输出七类 model.fc = nn.Linear(model.fc.in_features, num_classes) elif backbone == 'mobilenet_v3': model = models.mobilenet_v3_large(weights=models.MobileNet_V3_Large_Weights.IMAGENET1K_V2 if pretrained else None) model.classifier[-1] = nn.Linear(model.classifier[-1].in_features, num_classes) return model参数说明：pretrained 为 True 时加载 ImageNet 权重，这是小数据集上最重要的技巧之一。num_classes 固定为 7，如果做二分类（正负情绪）改成 2。替换分类头后，建议前几个 epoch 冻结骨干，只训分类头，之后再解冻全网络微调，学习率降到 1e-4 量级。
3.2 训练循环与关键超参
训练循环里最容易被忽视的是类别不平衡。FER2013 里 happy 和 neutral 样本多，disgust 和 fear 少，直接训练会导致少数类召回率极低。常见做法是加权交叉熵，权重按类别频率的倒数计算。下面是一个可复现的训练片段。
import torch from torch.utils.data import DataLoader from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, correct, total = 0, 0, 0 for imgs, labels in loader: imgs, labels = imgs.to(device), labels.to(device) optimizer.zero_grad() logits = model(imgs) loss = criterion(logits, labels) loss.backward() optimizer.step() total_loss += loss.item() * imgs.size(0) correct += (logits.argmax(1) == labels).sum().item() total += imgs.size(0) return total_loss / total, correct / total # 类别权重，按训练集频率倒数计算后归一化 class_weights = torch.tensor([1.5, 3.0, 2.5, 0.8, 1.8, 2.2, 0.6]).to(device) criterion = torch.nn.CrossEntropyLoss(weight=class_weights) optimizer = AdamW(model.parameters(), lr=3e-4, weight_decay=1e-4) scheduler = CosineAnnealingLR(optimizer, T_max=30)逻辑说明：class_weights 的顺序要和标签索引一致，不能凭感觉写，必须从训练集统计里算出来。AdamW 的 weight_decay 设 1e-4 是常用起点，太大模型欠拟合，太小过拟合。CosineAnnealingLR 的 T_max 设成总 epoch 数，让学习率平滑降到接近零。batch size 在显存允许下尽量大，32 或 64 都行，太小会让 BatchNorm 统计不稳。
3.3 验证指标：准确率不够，要看混淆矩阵和 F1
情绪识别不能只看总体准确率。如果模型把所有样本都预测成 neutral，在 FER2013 上也能拿到 30% 以上的准确率，但完全不可用。必须看每类 F1 和混淆矩阵。常见做法是每个 epoch 结束后在验证集上算 macro-F1，保存 F1 最高的 checkpoint，而不是准确率最高的。下面这段是验证和混淆矩阵输出。
from sklearn.metrics import f1_score, confusion_matrix import numpy as np def evaluate(model, loader, device): model.eval() preds, gts = [], [] with torch.no_grad(): for imgs, labels in loader: imgs = imgs.to(device) logits = model(imgs) preds.extend(logits.argmax(1).cpu().numpy()) gts.extend(labels.numpy()) macro_f1 = f1_score(gts, preds, average='macro') cm = confusion_matrix(gts, preds) return macro_f1, cm参数说明：average='macro' 表示每类权重相同，适合类别不平衡场景。混淆矩阵里重点看 fear 和 surprise 的交叉、sad 和 neutral 的交叉，这两组是最容易翻车的地方。如果某一类召回率低于 0.4，优先补该类样本或调高该类权重。
4. 推理部署：从单张图到视频流的稳定输出
4.1 单张图推理与置信度过滤
训练完的模型直接推理单张图，常见问题是置信度分布很平，最高类只有 0.4 左右。这时候不要硬取 argmax，而是设一个阈值，低于阈值输出「不确定」。下面是一个带过滤的推理函数。
def predict_emotion(model, face_img, device, threshold=0.5): model.eval() # face_img 是 BGR 的 numpy 数组，转成 RGB 并归一化 img = cv2.cvtColor(face_img, cv2.COLOR_BGR2RGB) img = cv2.resize(img, (224, 224)) tensor = torch.from_numpy(img).permute(2, 0, 1).float() / 255.0 tensor = (tensor - torch.tensor([0.485, 0.456, 0.406]).view(3,1,1)) / torch.tensor([0.229, 0.224, 0.225]).view(3,1,1) tensor = tensor.unsqueeze(0).to(device) with torch.no_grad(): probs = torch.softmax(model(tensor), dim=1)[0] max_prob, idx = probs.max(0) if max_prob.item() < threshold: return 'uncertain', max_prob.item() return idx.item(), max_prob.item()逻辑说明：threshold 设 0.5 是经验值，实际项目里可以根据业务容忍度调到 0.6 或 0.4。返回 uncertain 比强行给一个错误标签更安全，尤其是在课堂状态检测里，误判学生情绪可能带来不必要的干预。
4.2 视频流时序平滑：避免逐帧跳变
视频里逐帧推理会出现情绪标签频繁跳变，上一帧 happy 下一帧 sad，体验很差。常见做法是维护一个长度为 N 的滑动窗口，对概率做平均或投票。N 一般取 5 到 15，太小平滑不够，太大延迟明显。下面是一个滑动窗口平滑的实现。
from collections import deque class EmotionSmoother: def __init__(self, window_size=10): self.window = deque(maxlen=window_size) def update(self, prob_vector): self.window.append(prob_vector) avg = np.mean(self.window, axis=0) return int(np.argmax(avg)), float(np.max(avg))参数说明：window_size 在 25fps 视频里设 10 大约对应 0.4 秒延迟，适合实时互动。如果是离线分析，可以设 15 到 20，输出更稳。注意窗口内概率向量要来自同一张脸，多人场景需要按人脸 ID 分别维护窗口。
4.3 部署时的预处理一致性
训练时用了归一化和对齐，推理时必须完全一致，否则精度会掉得莫名其妙。常见翻车点是推理时忘了减均值除方差，或者对齐方式不同。建议把训练时的 val_tf 直接导出成配置，推理脚本复用同一套。如果部署到端侧，用 ONNX 导出时要把预处理也固化进去，避免不同语言实现带来的偏差。
# 导出 ONNX，固定输入尺寸 1x3x224x224 python -c " import torch from model import build_model model = build_model().eval() dummy = torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy, 'emotion.onnx', input_names=['input'], output_names=['logits'], opset_version=11) "导出后建议用 onnxruntime 跑一遍验证，对比 PyTorch 和 ONNX 的输出差异，如果最大绝对误差超过 1e-3，检查是否有不支持的自定义层。
5. 避坑与排查：那些让精度掉点的细节
5.1 现象：验证集准确率很高，实际场景一塌糊涂
原因：训练集和实际场景的人脸分布不一致，比如训练集多是正面清晰脸，实际场景有侧脸、口罩、强逆光。解决：在训练集里加入实际场景的样本，或者用 RetinaFace 做更鲁棒的检测，再对检测到的人脸做质量筛选，模糊和过小的脸直接丢弃。
5.2 现象：fear 和 surprise 永远分不开
原因：这两类在静态图上确实高度相似，眉毛抬高和嘴巴张开的组合接近。解决：引入时序信息，用 LSTM 或 3D CNN 对连续帧建模；或者在单帧模型里加入关键点距离特征，比如眉毛到眼睛的距离、嘴角张开角度，作为辅助输入。
5.3 现象：训练 loss 震荡，准确率不升
原因：学习率太大，或者 batch size 太小导致 BatchNorm 统计不稳。解决：把学习率降到 1e-4 再试，batch size 至少 32；如果显存不够，用梯度累积模拟大 batch。另外检查数据加载有没有 shuffle，验证集有没有误加增强。
5.4 现象：推理速度慢，达不到实时
原因：骨干网络太重，或者预处理在 CPU 上做成了瓶颈。解决：换 MobileNetV3 或 EfficientNet-B0，输入分辨率从 224 降到 112；预处理用 GPU 做，或者用 OpenCV 的 UMat 加速。ONNX Runtime 开 GPU 执行提供者通常比原生 PyTorch 快 1.5 到 2 倍。
5.5 现象：多人场景只检测到一张脸
原因：MTCNN 的 keep_all 设成了 False，或者置信度阈值太高。解决：keep_all 改 True，min_face_size 调小到 40 左右，同时后处理里按人脸框面积过滤掉过小的误检。多人场景还要注意给每个人脸分配稳定 ID，否则平滑窗口会串。
6. 进阶技巧：用关键点辅助和知识蒸馏把 F1 再提几个点
如果单帧 CNN 的 macro-F1 卡在 0.65 左右上不去，可以试两个方向。第一个是关键点辅助分支：在骨干网络之外，用一个人脸关键点检测器提取 68 点，计算眉毛高度、嘴角角度、眼睛开合度等几何特征，和 CNN 特征拼接后分类。几何特征对 fear 和 surprise 的区分特别有效，因为这两类的关键点构型差异比像素差异更明显。实现上可以用 MediaPipe FaceMesh 提取 468 点，再降维到几十维几何特征。
import mediapipe as mp mp_face_mesh = mp.solutions.face_mesh face_mesh = mp_face_mesh.FaceMesh(static_image_mode=True, max_num_faces=1) def extract_geo_features(face_img): results = face_mesh.process(cv2.cvtColor(face_img, cv2.COLOR_BGR2RGB)) if not results.multi_face_landmarks: return None lm = results.multi_face_landmarks[0].landmark # 取眉毛上缘和眼睛上缘的垂直距离，归一化到人脸框高度 left_brow = lm[105].y left_eye = lm[159].y brow_eye_dist = abs(left_brow - left_eye) # 嘴角张开度 mouth_open = abs(lm[13].y - lm[14].y) return np.array([brow_eye_dist, mouth_open], dtype=np.float32)第二个方向是知识蒸馏：用一个大模型（比如在 AffectNet 上预训练的 ViT）当教师，输出软标签，让小模型同时学硬标签和软标签。软标签里包含了类间相似度信息，对 fear/surprise 这种难分对特别有用。温度 T 一般设 3 到 5，蒸馏损失权重 0.5 到 0.7。我自己的习惯是先用大模型跑一遍训练集，把 softmax 输出存下来，再训小模型时直接读，省得每次前向。
验证蒸馏有没有效果，不能只看总体准确率，要看难分对的 F1 有没有提升。如果 fear 的 F1 从 0.45 提到 0.55，即使总体准确率只涨了 1 个点，这个方向也值得继续。最后提醒一句，所有离线指标都要在真实场景的视频流上再验一遍，我见过太多次验证集 0.72、实际视频里频繁跳变的案例。希望帮到你。
本文还有配套的精品资源，点击获取
