这题目一出，我当时的直观反应就是：又是一个把人脸识别和情感计算缝合起来的CNN改改进题。真正做进去之后才发现，题目里每一个词都不是白给的——"性别分类"和"情感分类"虽然都发生在同一张脸上，但它们在特征尺度、类间差异、数据分布上的要求几乎完全不同，而"改进卷积模型"五个字更是把工作量的重心点得明明白白：不是让你训练一个能用就行，而是在通用模型的基础上做出可解释、可量化的结构性改动。这篇内容我会把自己从选题拆解、基线搭建、改进设计、训练调参到应用系统落地的完整过程捋一遍，重点分享那些实验报告里不会写、但直接影响论文质量和最终成绩的细节。
1. 立项拆解：这个毕设题目到底在考什么
1.1 一个题目两个任务：性别分类与情感分类的任务本质差异
先说一个容易在开题阶段被忽略的点：题目里是"人脸性别和情感分类"，而不是"人脸多属性分类"。这两个任务虽然共享一张输入图像，但在特征层面的诉求几乎是对立的。
性别分类本质上是二分类问题，而且是一个相对稳定的属性判断。它依赖的是脸部的整体轮廓、颧骨宽度、下颌线条、眉骨高度这类全局低频信息，即使图像分辨率不高、表情夸张，性别往往还是能判断出来。换句话说，网络需要学会"看全貌"。
情感分类则完全相反。它是多分类问题（生气、厌恶、恐惧、开心、悲伤、惊讶、中性这七类是最常见的设定），依赖的是眼周肌肉收缩、嘴角上扬弧度、眉毛倾斜角度这类局部高频纹理信息。同一个人的同一张脸，性别属性不变，但情感标签会随着表情幅度剧烈变化。网络需要学会"看细节"。
这两种粒度截然不同的特征需求，决定了你不能简单地拿一个普通分类网络，最后接两个全连接层就完事。这也是题目的第一个隐藏考点：你有没有意识到，单一生理属性识别和多类心理状态识别，在特征表达上是冲突的。如果你在开题报告里能把这一层讲清楚，导师基本就会认可你对问题本质的理解。
1.2 为什么是"改进卷积模型"，而不是直接上更大更新的模型
开题时我其实纠结过一阵子：现在Transformer架构在视觉领域这么火，ViT、Swin Transformer论文一大堆，为什么不直接在毕设里用ViT？后来被两个现实问题拉了回来。
首先是数据量。ViT这类Transformer需要海量数据做预训练，公开人脸属性数据集和表情数据集规模也就几万到几十万级别，直接训练ViT很容易过拟合，效果甚至打不过ResNet。其次是算力和部署环境。毕设阶段通常只有一张普通显卡，训练周期不可能拖到几周，而且后续要做可演示的应用系统，卷积模型在CPU上的部署生态、推理速度、量化工具链都更成熟。
更重要的是题目的措辞——"改进卷积模型"。这意味着工作重点不是"换一个更强的骨架"，而是"在卷积框架内做结构性的优化与设计"。你需要证明自己有能力诊断现有模型的缺陷，然后针对任务特性做出改进，并且通过消融实验验证每一处改进的贡献。这个逻辑闭环才是毕设的核心，而不是谁的准确率高谁就赢。
1.3 数据集选择与评价指标
我最终选了两份公开数据集来做这个项目，一份做人脸属性中的性别识别，一份做表情识别。到现在论文里我仍然会刻意强调它们的差异：
- 人脸属性数据集：约20万张名人面孔RGB图，标注信息很丰富，从中抽取性别标签。二分类，类目天然均衡，训练集/验证集/测试集按8:1:1划分。
- 表情数据集：约3.5万张灰度图，已经是人脸中心裁剪过的形式，共7类表情。这个数据集有个典型毛病：类别严重不均衡，"中性"样本量巨大，"厌恶"类占比极小，直接训练很容易出现"全程预测中性也能有不错准确率"的假象。
评价指标不能只看准确率。情感分类在不均衡数据下必须加入宏平均F1（Macro-F1），否则你论文里写一个80%的准确率，答辩时老师随便一问就露馅了——因为你把少数类全判错了。性别任务相对简单，准确率和F1都要报，两个任务的对比才公平。
2. 改进思路的形成：从基线模型到多任务改进网络
2.1 先跑通基线：ResNet-18的第一次实验
任何改进都要有参照系。我第一步做的事情非常简单：拿一个ResNet-18，把最后的全连接分类层改成两个输出头——性别头输出2类，情感头输出7类，其他一概不动，先看裸模型到底能到多少。
ResNet-18作为基线有几个好处：深度适中，残差结构让梯度传播稳定，预训练权重好找，改造成本低。需要注意的是，表情数据集是灰度图，而ResNet预训练权重是按RGB三通道设计的。我当时的做法是把灰度图复制成三通道再输入，这样可以直接用预训练权重，不需要从头训。
第一次基线跑完，性别准确率93.2%，F1约92.8%；情感准确率只有63.8%，F1只有60.1%。这个结果完全在预料之中——性别任务对网络来说太"简单"了，骨架足够应付；但情感任务63.8%的准确率意味着，模型在绝大多数类别上基本是"瞎猜"级别的能力。我把错误样本逐一翻出来看，发现了两个明显的失败模式：大角度侧脸、低头这类姿态变化，性别判断会挂；表情幅度小、尤其是中性和悲伤这种"平静"状态，情感判断基本靠猜。这为我后面的改进提供了明确的靶子。
2.2 改进一：引入双注意力机制，让网络知道“看什么”和“看哪里”
基线模型暴露出的问题，归根到底是特征没有按照任务需求被差异化地强化。性别需要全局通道信息，情感需要局部空间信息，而ResNet默认的特征提取方式是把这两类信息混在一起逐层抽象，最后一层特征图已经高度语义化，局部纹理细节早就被丢了。
我的第一个改进是在残差块后插入双注意力模块，思路来自两个成熟工作的组合——通道注意力负责"看什么"，空间注意力负责"看哪里"。
- 通道注意力（SE模块）：对特征图做全局平均池化，得到每个通道的全局统计量，再经过两个全连接层和Sigmoid激活，生成一个通道维度的权重向量，对原始特征逐通道加权。这个操作能让网络自动放大对性别判断更有用的信息通道。
- 空间注意力：同时做平均池化和最大池化得到两个二维特征图，拼接后过一个7x7的卷积和一个Sigmoid，得到空间位置上的权重图。这个操作告诉网络"脸上的哪些区域更重要"。
两者串联使用时，通道注意力先筛选出值得关注的语义信息，空间注意力再在这些信息里定位关键区域。
我在stage2到stage4的每个残差块后面各接了一组这样的模块，参数量增加很少，但效果明显：性别准确率从93.2%涨到94.1%，情感准确率从63.8%涨到66.2%。注意看，收益主要落在情感任务上，这说明情感确实更需要空间细节的聚焦。
2.3 改进二：多尺度特征融合，让网络既看全貌又看细节
注意力模块解决了"重点看哪里"的问题，但还有一个结构性问题没解决：ResNet的信息流是自底向上单向传递的，浅层特征图分辨率高、纹理细节丰富但语义弱，深层特征图语义强但分辨率低、细节丢失严重。经典的做法是只拿最后一层特征送给分类头，这就等于把浅层的纹理信息白白浪费了。
我当时的选择是引入特征金字塔式（FPN）的多尺度融合。具体做法是：把stage2、stage3、stage4三个层级的特征图分别用1x1卷积统一通道数，然后从高层到低层逐步上采样、逐元素相加，让每一层都携带更高层的语义信息。融合后的多尺度特征分别保留了两类信息——下采样得到的全局轮廓供性别任务使用，上采样还原的局部纹理供情感任务使用。
这个设计的启发点来自目标检测里常用的FPN，但在分类任务里用得相对少。我在论文里花的篇幅也不小，重点就是说明"多尺度不是只看最后一层，而是把不同感受野的特征组织成一份完整的材料"。
加入多尺度融合后，性别准确率94.5%，情感准确率68.4%。情感任务的提升比上一次还要大，验证了我对浅层纹理信息缺失的判断。
2.4 改进三：共享骨干加双任务头，让两个任务互相“帮忙”
前面两步改进仍然是在单任务框架里，性别和情感各用一个独立的分类器。但回到题目本身再看一眼——题目说的是"人脸性别和情感分类"，并没有要求两个任务必须分开做。我决定直接改成共享特征提取骨干 + 两个独立任务头的多任务结构：骨干网络负责提取通用的人脸特征，性别头是一个全局平均池化接2类全连接层，情感头是全局平均池化接7类全连接层。
多任务学习的核心优势在于共享特征的正则化效应。性别分类和情感分类虽然粒度不同，但底子都是"这张脸长什么样"，它们共享底层特征实际上等于互相提供额外的监督信号。我在实验中也发现一个很有意思的现象：加入情感任务后，性别准确率反而进一步提升到95.8%，而单做性别时已经很难再往上涨了。这就是情感任务通过共享特征给了性别任务一个"额外的学习约束"，让网络提取的特征更加通用。
这个改进还有另一个实务层面的价值：最终部署时只需运行一次骨干网络，两个任务分支分别轻量计算即可得到两个预测结果，推理成本几乎不增加。
2.5 损失函数设计：一个总loss平衡两种任务
多任务模型一旦结构定下来，训练时的核心问题就是两个任务分支的loss怎么合并。我用了最直接的方式——加权求和：
L_total = λ_g * L_gender + λ_e * L_emotion
性别任务类目均衡，直接用标准交叉熵；情感任务类别不均衡，我使用了加权交叉熵，每个类别的权重与样本数量的倒数成正比，厌恶类权重最高，中性类权重最低。这种做法的效果是让模型不因为少数类样本少就忽视它。
λ的取值是个调参活。刚开始我两个λ都设成1.0，训练过程中发现两个loss经常交替振荡——一个任务在下降另一个任务就涨一点。后来我改用了一种更省心的做法：不确定性加权，即把λ当作可学习的参数，让网络自己根据两个任务的置信度动态调整权重。这样最终收敛稳定一些，情感F1还小幅涨了一个点。
3. 训练全记录与消融实验：每一处改进到底改出了多少效果
3.1 预处理流水线：人脸对齐是第一个隐藏的大坑
很多人在数据处理阶段会栽一个跟头，我差点也栽了。情感数据集给的就是中心裁剪好的人脸图，不需要检测直接训练；但人脸属性数据集给的是含背景的原图，必须先把人脸检测出来、对齐、再裁剪。
问题就出在裁剪框的松紧上。一开始我用默认参数做人脸检测，裁出来的图框得很紧，眉毛都快顶到图像边缘了。结果情感任务的表现莫名其妙下降了两个多点。原因很简单：表情信息大量分布在眉毛、眼角、嘴周，裁剪过紧会把关键肌肉区域截掉；裁剪过松又会带进头发、背景这类噪声。
最后我定下这样的处理流程：
- 人脸检测，得到人脸框和两眼关键点。
- 根据两眼连线与水平方向的夹角做旋转校正。
- 以两眼距离为基准，按1.6倍宽度、1.8倍高度向外扩展裁剪区域，统一缩放到224x224。
- 统一归一化：均值[0.485, 0.456, 0.406]，方差[0.229, 0.224, 0.225]，这几个数字就是ImageNet预训练权重的统计量，直接沿用。
数据增强方面我保持克制——水平翻转、随机裁剪、最大±10度的随机旋转、轻微亮度扰动。为什么旋转必须限制在±10度以内？因为人的情感语义在真实世界里不是旋转不变的，一个头倒过来90度的脸，看上去就不是"开心"了。过强的几何增强反而会损伤情感识别的语义一致性。
3.2 训练超参数记录
这套配置我在论文的复现部分完整写过，这里直接贴出来：
| 超参数 | 取值 | 说明 |
|---|---|---|
| 优化器 | AdamW | 权重衰减更规范，不会和L2正则冲突 |
| 初始学习率 | 1e-4 | 用预训练权重，学习率不宜过高 |
| 权重衰减 | 5e-5 | 过大容易欠拟合，过小则正则不足 |
| Batch Size | 128 | 单卡够用的上限 |
| Epochs | 60 | 大概在40个epoch后开始收敛平稳 |
| 学习率策略 | 余弦退火 | 避免训练后期学习率过高导致在局部最优附近震荡 |
| 梯度裁剪 | 全局范数裁剪，最大值1.0 | 防止个别batch出现异常梯度炸掉训练 |
| 混合精度 | 开启 | 显存占用减少约40%，训练速度提升明显 |
情感任务在30个epoch之后开始爬坡缓慢，性别任务早就稳定了。我当时用了一个小技巧：保存每10个epoch的中间权重，最后统一在验证集上筛选最优模型，而不是只看最后一个epoch的结果。
3.3 消融实验：四个阶段的结果对比
改进工作到底有没有价值，消融实验说了算。我把四组实验完整列了出来：
| 方法 | 性别Acc | 性别F1 | 情感Acc | 情感F1 |
|---|---|---|---|---|
| 基线ResNet-18 | 93.2 | 92.8 | 63.8 | 60.1 |
| +双注意力模块 | 94.1 | 93.7 | 66.2 | 63.0 |
| +多尺度特征融合 | 94.5 | 94.3 | 68.4 | 65.7 |
| +多任务双头结构 | 95.8 | 95.5 | 70.3 | 68.9 |
逐行看下来，每步改进在两项指标上都有正收益，而且收益分布很有规律：注意力模块和多尺度融合对情感任务更重要，多任务头对性别任务尤其有效。这个规律本身就能写进论文的分析部分——情感任务确实更吃细节，性别任务受益于共享监督提供的正则化。
3.4 错误样本分析：改进后到底改进了什么
准确率数字之外，我建议每个做这个方向的人都要翻一遍测试集里的错误样本。就拿我最后版本的结果来说，性别任务仍然会错在这些场景：长发男性被从发型上误判、戴帽子加超大墨镜的面孔完全丢失了脸型轮廓、极端侧脸导致两只眼睛不可见。情感任务则主要集中在：中性被误判为悲伤、厌恶被漏掉——这两类在视觉上本来就非常模糊，连人都不一定能准确分辨。
我还用Grad-CAM做了特征可视化。基线模型在做情感判断时注意力比较分散，整张脸都在看；加入注意力模块后的模型，热力图明显集中在眼睛和嘴角两个区域。这个可视化材料答辩时非常有用，它提供了一种解释：你的改进不是玄学，是网络真的改变了关注策略。
4. 应用实现：把模型变成能演示、能交互的系统
4.1 系统架构与交互流程
毕设不只是训练一个模型，还得交付一个能演示的应用。我用的是"PyTorch模型 + 轻量级Web服务 + 简单前端"的组合，整体流程是：
摄像头或图片上传 → 人脸检测 → 关键点对齐 → 双头模型推理 → 结果展示
选Web方案而不是桌面程序，主要是答辩场景考虑：答辩教室不保证装了Python环境和显卡驱动，Web界面只需要开一个服务、浏览器访问即可，跨平台兼容性最好。前端就用了最朴素的原生HTML加JavaScript，后端的服务框架选Flask这类轻量级方案，整个包体积很小。
人脸检测我直接用了OpenCV的DNN模块自带的人脸检测器，它有一百多万参数、速度很快，CPU上单张人脸毫秒级检测，而且自带在训练数据上学习到的通用人脸分布，对姿态的容忍度比传统Haar级联要好很多。
4.2 推理加速与部署：CPU上也能实时跑
部署时我做了三个层面的优化：
第一，模型导出为ONNX格式。PyTorch模型在CPU上直接推理会有效率损耗，导出为计算图之后，ONNX Runtime的CPU推理性能明显更好。导出时我把batch固定为1，输入尺寸固定为224x224，并且把操作符版本对齐到目标平台支持的版本。
第二，半精度推理。一开始我尝试INT8量化，发现情感任务的F1掉了将近4个点，这类精细的纹理分类任务对量化还是太敏感。退一步用半精度就稳定了，精度损失控制在0.2个点以内，速度和显存都有改善。
第三，逐帧批处理。视频流场景下，每帧的人脸数量不多，单帧推理时需要把检测到的所有人脸凑成一个batch一起推理，这样比逐个人脸单独推理要快不少。
实测效果：CPU上一张人脸从检测到输出两个分类结果，大约30到50毫秒，足够做实时的在线演示。
4.3 演示场景的边界控制
应用能跑起来是一回事，演示效果好是另一回事。我在演示环节吃了不少亏，总结几个实用规则：
- 光线要均匀，逆光或顶光会让检测和分类同时变差。
- 人脸占据画面比例要合适，太远太小模型几乎没法判断。
- 多人的场景逐个人脸框出来标注，但要注意当人脸面积太小时，标注结果的置信度会很低。
- 给分类结果加置信度阈值，低于阈值时显示"无法判断"，好过硬给一个错误答案。这在答辩演示时是一个很加分的工程细节。
我当时设置的阈值是性别0.6、情感0.35——情感准确率本来就比性别低，阈值不能设太高，否则屏幕上全是"无法判断"。
5. 复盘与答辩建议：那些没人写在论文里的经验
5.1 怕被老师追问的数据泄露问题
这是我在实验过程中自己踩出来的坑，分享出来给所有后来者提个醒。
人脸数据集有一个天然陷阱：同一个人可能出现多张照片。如果这些照片同时出现在训练集和测试集里，模型实际上是在"认人"，而不是在学"性别和情感的特征"。我当时第一次划分数据集用的是随机划分，结果验证集准确率虚高，后来按人的身份去重划分才修正了这个问题。
在论文里一定要写明你是按身份划分的，并说明这个动作对泛化评估的必要性。导师们普遍对这一类细节很敏感。
5.2 答辩现场容易被追问的几个问题
我把当时被问到的、以及模拟答辩时被反复质疑的问题列在这里，对应的回答思路也一并写上：
"你用的注意力模块已经是成熟做法，你的创新点在哪里？"回答关键是定位准确：创新点不在于注意力模块本身的提出，而在于针对双任务的差异化特征需求，把这些模块组合进一个多任务共享框架里，并验证了组合的合理性。你要用消融实验证明每个组件都贡献了收益，而不是堆砌。
"为什么情感任务准确率明显低于性别任务？"可以从三个角度回答：类别不平衡导致少数类样本难学；情感类别本身存在主观标注噪声，人对"悲伤"和"中性"的界定就不一致；表情幅度小的图片包含的判别信息确实不足。这些理由要有数据支撑而不是空谈。
"如果加大数据量，改进的思路还成立吗？"大概率仍然成立，但收益会变小。数据量足够大时，模型能从海量数据里自己学会关注重点区域，结构性的先验设计带来的边际收益会递减。我论文里在结论部分提了一句，但核心观点是：在数据有限、算力有限的条件下，结构性改进仍然是最可靠的性能提升手段。
"系统对特定人群是否有偏见？"这类模型确实可能对黑人面孔、儿童面孔等训练数据中占比不足的群体表现较差。当时我的应对是做一个简单的分群体测试（按肤色明暗、年龄段粗略划分），把结果如实写出来，并说明这是数据偏差导致的后续优化方向。如实承认比试图掩盖要稳妥得多。
5.3 还有哪些可以扩展的方向
这个题目我当时时间有限，完全做透其实还可以往几个方向继续深挖：
- 把人脸检测、对齐、分类三个模块串成一个端到端的可训练网络，去掉手工对齐点带来的误差传播。
- 在轻量化网络骨架上重复这套改进思路，比如把骨干换成MobileNet类结构，模型体积压缩到几兆级别，部署到移动端。
- 引入更丰富的属性监督，把年龄、姿态、是否戴眼镜等作为辅助任务，进一步增加共享特征的泛化能力。
- 在公平性上下功夫，用重采样或域自适应方法改善模型对弱势群体的表现。
每一个方向都够再撑一篇毕业论文，毕设拿来做技术预研非常合适。我听几个后来做这个方向的A同学反馈，把改进思路迁移到视频序列的表情识别上也能出效果，时序信息对情感判定的增益相当可观。
最后说一点个人体会吧。这个项目做下来，最难的倒不是某个模型或者某段代码，而是持续面对"改进到底有没有用"这个问题时的自我质疑。每次跑一组消融，心里都在打鼓：万一加了模块反而掉点怎么办？这种不确定性贯穿了整个项目周期。扛过去之后回头看，最值钱的恰恰是这套系统化的对比实验习惯——先找基线，再拆缺陷，再设计改进，最后逐项验证。这套方法论，换个任务、换个领域依然成立，这也是毕设除了论文之外真正能带走的东西。
