简介：YOLOv8人脸表情识别训练权重与配套数据集，面向有目标检测基础、希望快速落地表情识别项目的开发者。资源不仅提供了训练好的权重，还包含已划分train/val/test的完整数据集，并内置data.yaml配置文件，支持YOLOv5、YOLOv7、YOLOv8、YOLOv9等算法直接训练；标签为txt格式，涵盖anger、happy、sad、surprise四类表情。压缩包共2000个文件，大小114.27MB，其中主要包含678个jpg图像、602个txt标签，以及yaml配置、Python训练脚本、Markdown说明文档、C++推理部署源码等，方便对照学习与二次开发。目前已有1432人学习，目录结构清晰，数据路径已预先配置，适合科研、课程设计或工程落地。通过配套博文可进一步了解检测结果与调参思路，帮助快速验证模型效果。
1. YOLOv8 做人脸表情识别，为什么先要解决“权重+数据集”的问题
很多工程师初次接触 YOLOv8 算法人脸表情识别训练权重+数据集，第一反应是赶紧把模型跑通，结果在真实摄像头前一测就翻车：人脸稍微侧一点、光线一暗，识别结果就乱成一团。这个任务的关键其实不在 YOLOv8 的网络结构，而在三个容易看走眼的地方——你手里的权重是通用目标权重还是表情微调权重，数据集是人脸检测格式还是分类格式，以及训练和部署时预处理是否一致。这篇笔记把这三条线串起来讲，先讲模型选型与训练参数，再讲数据集如何做成 YOLO 格式，最后收在避坑和部署上。适合自己标数据、用 CPU 或单块显卡训练、想把模型落到边缘设备上的工程师。不要急着下 demo，先把权重和数据集变成能用的东西。
2. 目标检测还是纯分类：YOLOv8 表情识别的建模与权重选型
2.1 表情识别为什么常被做成检测任务，而不是七分类
纯分类的思路是：给一张已经裁剪好的人脸图，输出 angry、happy、neutral 这类标签。这个思路单看准确率并不差，因为输入不需要框，模型可以把全部算力放在表情细节上。但真实场景里的人脸位置是未知的，摄像头画面里可能有多个人、不同距离、不同角度。如果你先做一个分类模型，还得再写一套人脸检测逻辑去把脸“抠”出来，相当于需要两套模型，工程复杂度立刻涨了一截。
所以更常见的做法是把人脸表情识别当成目标检测任务：输入一帧完整图像，输出每个人脸框，框的类别直接是表情。YOLOv8 是 anchor-free 检测器，它的输出头可以直接表达“位置 + 类别”，不需要额外做人脸检测和表情分类的串联。看 YOLOv8 网络结构图时，Backbone 提取特征，Neck 做多尺度融合，Head 输出三个尺度的检测结果。人脸表情属于中低层特征敏感的细粒度任务，因此训练时不要盲目改结构，先把输入尺寸和训练数据做扎实，比任何结构改进都有效。
如果项目标题里写的是“YOLOv8 算法人脸表情识别”，我一般按下述方式理解：输入一整张图片，模型同时输出人脸框和表情标签。如果你的输入已经是对齐后的人脸图，那可以直接用 YOLOv8 的分类版（yolov8-cls），但大多数落地场景不是这样的，检测做法更通用。
2.2 预训练权重选型：yolov8n.pt 到 yolov8m.pt 怎么取舍
YOLOv8 官方提供在 COCO 大图上预训练过的通用权重，比如 yolov8n.pt、yolov8s.pt、yolov8m.pt。训练人脸表情识别时，不要从头初始化模型，复用 COCO 预训练权重能显著缩短收敛时间，尤其是数据量只有几千张时。这里说的“训练权重”有两层含义：一是你手里有没有官方预训练权重文件；二是项目最终训练出来的 best.pt。先要把这两个概念分开。
| 权重文件 | 模型规模 | 我对它的使用场景 |
|---|---|---|
| yolov8n.pt | 最小 | CPU 训练和调试，先跑通流程，验证数据和标注没问题 |
| yolov8s.pt | 小 | 单张普通显卡训练，效果和速度比较均衡 |
| yolov8m.pt | 中等 | 数据量 1 万张以上，或者需要部署到边缘设备，m 是性价比上限 |
| yolov8l/x.pt | 大 | 人脸表情这种细粒度任务提升有限，显存消耗大，不推荐一上来就用 |
下载预训练权重最常见的做法是安装 ultralytics 后直接指定 model 名称，程序会自动下载。如果网络容易中断，我更习惯先手动把 .pt 文件放到工作目录，训练命令写成相对路径，避免每次都在线拉取。例如先把 yolov8n.pt 放到~/face_expr/weights/下，然后用model=weights/yolov8n.pt指定。
选型上有一条血泪经验：不要因为显存大就直接上 yolov8x。人脸表情数据集中很多是近距离单人脸，网络参数大了反而不容易在小样本上收敛。我一般先用 n 跑通，再用 s 或 m 做正式训练。对于部署到 RK3588 这类边缘设备的场景，m 的大小也差不多够用，转成 INT8 后体积和延迟都能接受。
2.3 把最小训练命令跑通：参数怎么设才算合理
在 Ubuntu 20.04 上搭建 YOLOv8 环境，CPU 版本的最小安装是装好 ultralytics 和对应 torch 即可。GPU 环境则要先确认显卡驱动和 CUDA，下面给出训练命令：
cd ~/face_expr # 如果还没装环境，CPU 版本可这样装（GPU 版本请到 PyTorch 官网选 cu121/cu118 等命令） pip install ultralytics pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # 从 yolov8n.pt 开始训练 yolo train model=weights/yolov8n.pt \ data=face_expr.yaml \ epochs=100 \ imgsz=640 \ batch=16 \ device=0 \ patience=15 \ cache=True命令里每个参数都值得提前理解，否则后期排查会很痛苦。model指定预训练权重文件，data是数据集配置文件，下一章会专门讲。epochs=100是最大训练轮数，表情识别数据量不大，100 轮足够看到趋势，再多可能过拟合。imgsz=640是输入图片尺寸，人脸在画面中占比较大时继续用 640；如果人脸是远距离小目标，可以提高到 960，但训练时间会明显增加。
batch=16表示每批 16 张图，8G 显存跑 640 分辨率可能不够，降到 8 或 4 都可以。device=0是使用第一张显卡，CPU 环境改成device=cpu。patience=15是连续 15 轮验证指标不提升就提前停止，避免周六日白跑两轮。cache=True适合总量不大的数据集，把图片提前加载到内存，减少磁盘读取瓶颈；如果数据集超过 10G，建议去掉这个参数。
训练过程中会看到 train/box_loss、train/cls_loss、train/dfl_loss 三个损失值。box_loss 负责框位置，cls_loss 负责表情分类，dfl_loss 负责框分布。三者整体下降，只有轻微波动，就不用慌张。很多 repo 里给“YOLOv8 模型训练参数含义”的表格，核心其实就是上面这七个参数，其余参数大多保持默认就够了。
3. 数据集制作：公开数据集、LabelMe 标注与 YOLO 格式转换
3.1 优先选用公开表情数据集，别急着自己标
自己做数据集非常耗时，一张图如果有多个人脸，加上表情歧义，一小时能标 100 张就算不错了。所以第一步先看有没有可复用的公开人脸表情数据集。常见的有 FER2013、RAF-DB、AffectNet 等，但它们的格式差异很大：FER2013 是 48x48 灰度小图，只有分类标签，没有人脸框，不能直接训练检测模型；RAF-DB 是真实场景图片，带基本表情标注，部分样本有人脸框；AffectNet 数据量大，但标签噪音也大。
我的原则是：优先找“带人脸框”的数据集，因为检测模型需要知道脸在哪里。如果拿到的是纯分类数据集，就只能先用人脸检测器把人脸区域抠出来，再通过裁剪得到训练图，等于多绕一步。另一种方式是直接采自己的视频，用公开人脸检测器辅助预标注，再用 LabelMe 修正。这样数据与你的摄像头视角更贴近，模型落地效果通常更好。
无论从哪个来源拿数据，最终都要统一成 YOLO 格式：每张图片对应一个同名.txt文件，每一行是类别ID x_center y_center width height，坐标用归一化后的 0~1 小数表示。这是 YOLOv8 训练的标准输入，别自己发明格式。
3.2 LabelMe 转 YOLO 格式：转换脚本与关键参数
LabelMe 是常用的图像标注工具，保存的 JSON 里有shapes，每个 shape 包含标注框points和标签label。下面是我常用的转换脚本，把 LabelMe 的矩形标注转成 YOLO 格式：
# labelme_json_to_yolo.py import json import os from glob import glob # 类别顺序一旦确定，后续 data.yaml 和训练结果都依赖这个顺序 CLASSES = ['angry', 'disgust', 'fear', 'happy', 'sad', 'surprise', 'neutral'] def convert_labelme(json_path, out_dir): with open(json_path, 'r', encoding='utf-8') as f: data = json.load(f) img_w = data['imageWidth'] img_h = data['imageHeight'] lines = [] for shape in data['shapes']: if shape['shape_type'] != 'rectangle': continue # 只处理矩形框，多边形先跳过 label = shape['label'] if label not in CLASSES: print(f'{json_path}: unknown label {label}') continue (x1, y1), (x2, y2) = shape['points'] # 保证左上角在右下角之前 x1, x2 = min(x1, x2), max(x1, x2) y1, y2 = min(y1, y2), max(y1, y2) # 归一化到 0~1 cx = ((x1 + x2) / 2.0) / img_w cy = ((y1 + y2) / 2.0) / img_h w = (x2 - x1) / img_w h = (y2 - y1) / img_h # 防止越界，YOLO 不处理越界框 cx = max(0, min(cx, 1)) cy = max(0, min(cy, 1)) w = max(0, min(w, 1)) h = max(0, min(h, 1)) lines.append(f"{CLASSES.index(label)} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}") if not lines: return base = os.path.splitext(os.path.basename(json_path))[0] with open(os.path.join(out_dir, base + '.txt'), 'w', encoding='utf-8') as f: f.write('\n'.join(lines)) if __name__ == '__main__': in_dir = 'labelme_json' out_dir = 'labels' os.makedirs(out_dir, exist_ok=True) for jp in glob(os.path.join(in_dir, '*.json')): convert_labelme(jp, out_dir) print('converted:', jp)这段脚本的核心是把像素坐标的矩形转成 0~1 归一化坐标。注意CLASSES顺序很关键，它必须与后续data.yaml里的names完全一致。如果顺序不一致，训练时类别就会错位，比如 angry 被当成了 happy，这种翻车最难排查。LabelMe 里如果画的是多边形，脚本会直接跳过；更稳妥的做法是标注时就只画矩形，或者把多边形转成最小外接矩形后再转换。
转换完成后，还需要把图片和标签文件放到同一目录下。建议目录结构为images/train、images/val、labels/train、labels/val。图片名和标签名必须完全一致，扩展名一个是.jpg/.png，另一个是.txt。
3.3 写 data.yaml：类别顺序、路径和验证集比例
YOLOv8 训练时读一个data.yaml，内容很简单，但很多返工都出在路径写错或类别顺序不一致。下面是我常用的模板：
# face_expr.yaml path: /home/user/face_expr # 数据集根目录 train: images/train val: images/val nc: 7 names: ['angry', 'disgust', 'fear', 'happy', 'sad', 'surprise', 'neutral']path是绝对路径，train和val是相对根目录的子目录。如果训练时提示找不到图片，第一件事就是检查这个路径下是否真的存在对应目录。nc必须等于names的长度，多一个少一个都会报错。
验证集的比例建议取 15%~20%，但更重要的是按“人”划分，而不是按“图片”划分。如果同一个人的不同表情帧同时出现在训练集和验证集，模型相当于提前见过这个人，验证集分数会虚高，部署到新用户脸上立刻露馅。我一般先把人物 ID 列出来，按 ID 切分，再随机分配到两个集合。
类别顺序要固定，最好在项目开始前就确定并写进文档。七类表情的顺序没有强制规定，但一旦训练了 best.pt，后续推理时输出类别索引就是按这个顺序映射的。如果你后续要多加 contempt 类别，不要直接改 names，必须重新训练，否则旧权重会错位。
3.4 样本不均衡与数据增强：让少样本类别活下来
公开表情数据集普遍存在 happy 样本多、fear 和 disgust 样本少的问题。如果不处理，模型会倾向于把不确定的脸全判成 happy 或 neutral，整体准确率看起来不错，混淆矩阵里少数类召回率却低得可怜。
我常用的方法是重采样：把少样本类别的图片在训练文件夹里复制几份，使每个类别的样本量接近。复制本身会引入过拟合风险，所以还要配合数据增强。YOLOv8 默认开启 mosaic、随机平移、HSV 扰动等，但对人脸表情任务，mosaic 把多张不同人脸拼在一起，可能让脸的位置变得奇怪，需要适当控制。可以在训练命令里加参数：
yolo train model=weights/yolov8s.pt \ data=face_expr.yaml \ epochs=120 \ imgsz=640 \ batch=16 \ device=0 \ mosaic=0.3 \ hsv_h=0.02 \ hsv_s=0.3 \ hsv_v=0.2mosaic=0.3表示 30% 的样本使用 mosaic 增强，比默认低一些，让人脸保持相对完整。hsv_h=0.02控制色相变化，幅度太大脸色就失真，表情特征也会受影响。光照变化倒是可以保留，因为真实场景光照本来就不确定。另一个有效增强是随机平移和缩放，让模型对人脸位置不那么敏感。
如果重采样之后少数类还是不行，就要回到标注质量上检查。fear 和 disgust 本身就是易混淆表情，眉毛和嘴角的细微差别才是决定性特征。如果标注框太松，模型学不到这些细节，再调增强也没用。
4. 常见问题与踩坑：训练到部署的五个真实事故
4.1 最高精度很高，但恐惧和厌恶永远查不出来
现象：验证集 mAP50 到 0.85 以上，但打开混淆矩阵，fear 召回率只有 0.2，disgust 几乎全被判断成 angry。
原因：数据集里 happy、neutral 占大头，模型学习时“多数类”主导了梯度。fear 和 disgust 不仅样本少，且和 sad、angry 在面部肌肉特征上高度相似，模型没有足够样本去区分。
解决：先把这两个类的样本量通过复制或采集提升到与 happy 相当的规模。然后单独跑一次验证，打印每个类别的 recall 和 precision，不要只盯总指标。如果采集新数据成本高，可以只针对这两个类做更强的局部增强，比如随机遮挡嘴部、轻度旋转。
4.2 人脸框里掺了头发和背景，模型学到的是“头”
现象：用真实摄像头测试，模型对一张只有后脑勺的画面输出了高置信度“happy”，对戴帽子的人频繁漏检。
原因：标注时为了省事，把整个头框进去了。框内包含大量头发、帽子、背景，模型采集到的特征是“头部轮廓+头发颜色”，而不是面部表情。
解决：重新检查标注规范，矩形框要贴合脸颊，左右到耳朵边缘，上到额头，下到下巴，不要把头发和衣领框进去。如果已经标完数据，可以用脚本把矩形框向内收缩 5%~8%。框架之后仍要人工抽检 20% 的标注，看看是否真的贴合面部。
4.3 CPU 训练跑了一个周末还没收敛
现象：device=cpu，batch=16，数据集只有 3000 张，一个 epoch 要十几分钟，跑了 60 轮损失还在高位。
原因：CPU 跑 640 分辨率的目标检测非常吃力，mosaic 增强又额外增加了计算量。batch 太大还会导致内存和 CPU 缓存频繁交换，速度更慢。
解决：先用 yolov8n，imgsz=480，batch=8，cache=True，训练 30 轮验证数据流程是否正确。如果损失能明显下降，再决定是否购买 GPU 云实例。CPU 环境更适合做小规模实验，完整训练还是交给单张 RTX 3060 级别以上的卡。
4.4 训练 loss 很漂亮，导出 ONNX 后推理结果对不上
现象：PyTorch 端测试同一张图都是正确结果，转成 ONNX 后同样这张图出现框偏移、类别概率完全混乱。
原因：最常见的是预处理不一致。训练时 ultralytics 用的是 RGB 且归一化到 0~1，而自己写的部署脚本用了 BGR，还忘记除以 255。另外导出时imgsz=640，如果实际推理输入是 416，输入分辨率变化会影响结果。
解决：统一导出和推理时的尺寸。导出命令用：
yolo export model=best.pt format=onnx imgsz=640 opset=17推理端读取 ONNX 时，先做一次预处理测试：读图、转 RGB、除以 255、resize 到 640，再和 PyTorch 输出逐字节比较。也可以在部署代码里打印输入张量的 shape 和 mean/std，先用一张固定的调试图片和 PyTorch 结果对齐，再接入摄像头。
4.5 小脸漏检：imgsz=640 对远距离人脸不友好
现象：人离摄像头 3 米以上，脸在画面里只有 50x50 像素，推理时漏检或置信度很低。
原因：训练数据里大多是被标注框充满画面的近距离人脸，模型没有见过这么小的目标。YOLOv8 对 16x16 以下的目标本身就不敏感。
解决：最直接的办法是训练时调imgsz=960，但显存和时间成本上升。另一个常见方案是拆成两步：先用轻量人脸检测模型框出人脸区域，再把该区域裁剪放大后送进表情识别模型。两步方案的缺点是会增加一次模型调用，但对小脸场景往往比单模型更稳。
5. 训练、评估与损失曲线：怎么判断权重真的可用
5.1 从训练日志里读关键指标：loss、mAP50、混淆矩阵
训练完成后，输出目录runs/detect/train下有weights/best.pt和weights/last.pt，以及results.csv。best.pt是根据验证集指标保存的最优权重，last.pt是最后一轮权重，一般部署用 best。results.csv每一列对应一个指标，包括 epoch、train/box_loss、train/cls_loss、train/dfl_loss、metrics/precision、metrics/recall、metrics/mAP50、metrics/mAP50-95、val 对应损失等。
我判断权重能不能用的顺序是：先看 train/box_loss 是否降到 0.05 以下量级，再看 val/cls_loss 是否收敛，最后看 mAP50 和混淆矩阵。很多人只看 mAP50 高于 0.9 就部署，这是给自己挖坑。因为人脸表情类别分布不均，mAP50 高可能只是多数类强。
5.2 用验证集评估 best.pt：命令与阈值参数
训练结束后，单独做一次验证，会输出混淆矩阵和每类的 PR 曲线：
yolo val model=runs/detect/train/weights/best.pt \ data=face_expr.yaml \ imgsz=640 \ batch=1 \ conf=0.25conf=0.25是置信度阈值，低于这个值的检测会被当作背景。验证集上conf设多少，推理时最好也保持多少。如果部署时发现误检多，可以提高到 0.4；如果漏检多，降到 0.15。这个参数不是越高越好，需要结合你的业务场景权衡。
results.confusion_matrix.png是表情识别项目里最值得看的图，它会把每个真实类别和预测类别做成矩阵。对角线越亮越好，如果某一整列特别亮，说明模型在把所有脸都往这个类别上猜。
5.3 用 Python 画损失曲线：results.csv 的使用
训练过程中想实时看曲线，可以用 TensorBoard，也可以直接读 results.csv 画图，后者更直观且不依赖环境。下面是一个最小脚本：
# plot_loss.py import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv('runs/detect/train/results.csv') # 表头里列名带空格，先清理 df.columns = df.columns.str.strip() plt.figure(figsize=(8, 5)) plt.plot(df['epoch'], df['train/box_loss'], label='train/box_loss', linewidth=1) plt.plot(df['epoch'], df['val/box_loss'], label='val/box_loss', linewidth=1) plt.xlabel('epoch') plt.ylabel('loss') plt.legend() plt.grid(alpha=0.3) plt.savefig('box_loss_curve.png', dpi=150)执行后生成box_loss_curve.png。如果 train/box_loss 一直下降但 val/box_loss 在 20 轮后回升，说明过拟合，需要回到第 3 章做数据增强或减少训练轮数。如果 train/box_loss 和 val/box_loss 都在缓慢下降，说明学习率合适，不必急着改参数。CLI 训练时也可以加plots=True让 ultralytics 自动保存更多曲线图，但要等训练结束才可见。
5.4 部署前还要做一次硬样本测试
验证集上的指标只是第一关。我习惯在部署前额外准备一段没有参与训练的视频，包含室内、室外、侧脸、低头、多人、光线变化等场景，用 best.pt 跑一遍，统计误检和漏检。这个视频不要选训练集的帧截图，至少隔两周再录，才能反映真实分布。如果这一步能稳定通过，再谈 ONNX 导出和边缘部署，否则改训练数据比改部署代码更有效。
6. 用训练好的权重做实时推理，以及一个提速的小技巧
实时推理时，ultralytics 的 API 已经封装好了摄像头读取、预处理、后处理和可视化。下面是最简代码：
# webcam_infer.py from ultralytics import YOLO model = YOLO('runs/detect/train/weights/best.pt') # stream=True 表示使用生成器逐个返回结果，避免内存积压 for result in model.predict(source=0, stream=True, conf=0.25, imgsz=640): if result.boxes is None: continue names = result.names for box in result.boxes: cls_id = int(box.cls[0]) conf = float(box.conf[0]) print('bbox:', box.xyxy[0].tolist(), 'label:', names[cls_id], 'conf:', conf)source=0是读取摄像头第一个通道。stream=True情况下，循环会不断输出新一帧的结果。如果想要更高帧率，可以把imgsz降到 480，但小脸场景不建议降太多。另一个实用技巧是关闭可视化：不调用show=True，改用save=False，在服务器上跑推理时能减少一小部分 CPU 开销。
如果项目要部署到 RK3588 这类边缘设备，我一般先把 best.pt 导出成 ONNX，再转到 RKNN。导出时用imgsz=640, opset=17，转换后做 INT8 量化。表情识别这种细粒度任务，INT8 后准确率会有轻微下降，我习惯先在原设备上用 FP16 跑一遍验证，再决定是否上 INT8。这是从很多次部署里换来的教训：先确认权重本身没问题，再做量化，否则你会分不清掉点来自模型还是量化过程。希望帮到你。
本文还有配套的精品资源，点击获取
