简介：情绪识别是情感计算与脑机接口领域的核心方向，而脑电信号（EEG）因其高时间分辨率和客观性，成为研究情绪状态的重要数据源。在实际建模中，EEG信号包含从delta到gamma的多个频段，不同频段对应不同的认知加工尺度，传统单尺度卷积难以同时捕获局部瞬态特征和长时依赖。多尺度卷积网络通过并行不同尺寸的卷积核，从多分辨率视角对信号进行建模，更贴合脑电信号的生理特性。在工程实践中，公开数据集DEAP是最常被引用的基准数据之一，但数据读取、通道选择、标签划分和交叉验证策略都存在容易踩坑的细节。本文从数据预处理到模型设计，再到实验验证与性能评估，系统梳理了基于DEAP数据集复现多尺度卷积网络解决脑电情绪识别问题的完整流程，并给出了提升分类准确率与评估可靠性的关键经验，适合作为相关论文复现与算法对比的实用参考。 脑电情绪识别这个方向，现在做的人是真不少，但如果你想找一个公开数据集把论文和代码完整跑通，DEAP几乎是绕不开的第一站。这个数据集在网上流传广、引用量高，很多情绪识别论文的实验部分都用它做基准。不过DEAP的坑也不少，光是把.mat文件正确读出来、把多尺度卷积网络的结构设计得“看起来合理且真能涨点”，就够折腾一阵子。这篇东西我不打算写教科书，就按我自己从数据读取到模型复现、再到实验对比的真实顺序，把我踩过的坑和验证过有效的做法整理出来，希望能帮你少走点弯路。
1. DEAP数据集的读取与结构：这块搞不通，后面全是白搭
1.1 下载回来的.mat文件到底存了什么
DEAP全称是Database for Emotion Analysis using Physiological Signals，由Queen Mary University of London发布。它采集了32名受试者（男女各半）观看40段一分钟音乐视频时的生理信号，同时让受试者对每段视频的效价（Valence）、唤醒度（Arousal）、优势度（Dominance）、喜欢度（Liking）打1到9分。
下载完成后，你会拿到32个.mat文件，命名为s01.mat到s32.mat，每个文件代表一个受试者。结构看起来很简单，但初读很容易懵。
import scipy.io as sio data = sio.loadmat('s01.mat') print(data.keys()) # dict_keys(['__header__', '__version__', '__globals__', 'data', 'labels'])data和labels都是numpy数组。data的形状是(40, 40, 8064)，40是视频数量，40是通道数量，8064是采样点。labels的形状是(40, 4)，4对应valence、arousal、dominance、liking这四个评分。
采样率是128Hz，8064个采样点等于63秒，其中前3秒是基线信号，后面60秒才是受试者观看视频时的真实脑电响应。所以如果你要做情感刺激后的信号分析，最常规的预处理就是先把前384个采样点（3秒×128Hz）删掉，只保留后7680个点。
1.2 40个通道不是全都是脑电
DEAP的40个通道里，前32个是脑电（EEG），按国际10-20系统放置，后8个是外围生理信号，包括EOG（眼电）、EMG（肌电）、GSR（皮电）、呼吸、plethysmograph等。很多论文的做法是只取前32个EEG通道，因为外围信号与情绪状态的相关性分析需要额外论证，而EEG特征在情绪分类任务中已经足够支撑实验。
读数据时先做切片，这一步非常关键：
eeg_data = data['data'][:, :32, :] # 只保留32通道脑电 eeg_data = eeg_data[:, :, 384:] # 去掉前3秒基线1.3 标签不是直接拿来做分类的
DEAP的标签是连续评分，但大部分分类论文会做二分类，做法是以5为阈值，把valence和arousal分别拆成高低两类。例如valence大于5记为1（高愉悦），小于等于5记为0（低愉悦）。也有人做四分类，把valence和arousal组合成四个象限：高愉悦高唤醒（HAHV）、高愉悦低唤醒（HALV）、低愉悦高唤醒（LAHV）、低愉悦低唤醒（LALV）。
labels = data['labels'] valence = (labels[:, 0] > 5).astype(int) arousal = (labels[:, 1] > 5).astype(int) # 四分类组合标签 quad_class = valence * 2 + arousal这步看起来没什么技术含量，但它直接影响后面每个batch的样本分布。DEAP的40个trial里，valence和arousal的分布并不完全均衡，建议打印一下每个类别的样本数，别到训练完了才发现某一类只有个位数。
2. 多尺度卷积凭什么适配脑电信号
2.1 脑电信号的频率成分跨越很大
脑电信号本身就包含多个频段：delta（1-4Hz）、theta（4-8Hz）、alpha（8-13Hz）、beta（13-30Hz）、gamma（30-50Hz及以上）。不同频段在不同情绪状态下表现出不同的激活模式。比如alpha波在放松状态下更明显，beta波在紧张、专注时能量更高。
如果只用单一尺寸的卷积核，比如固定kernel_size=3，等于假设所有有用的时序模式都集中在同一个时间尺度上，这个假设对脑电信号来说太强了。用生活里的例子类比：如果让你描述一段音乐，既要听清鼓点，又要听清旋律线，还得注意和声的变化，你不可能只用同一只耳朵、同一个采样间隔去听，得换多个“听诊角度”。
多尺度卷积就是干这个事的。它用不同尺寸的卷积核并行扫描同一段信号，小卷积核捕捉局部瞬时特征，大卷积核捕捉更长的时序依赖，最后把不同尺度的特征拼起来。这比单纯加深网络层数要更高效，因为它是直接从多分辨率的角度对信号建模，不需要等网络自己学会怎么在不同尺度间切换。
2.2 单尺度卷积在DEAP上的典型失败模式
我最早跑实验时，直接用了普通的1D CNN，全部卷积核大小固定为5，堆了四层，准确率大概能到72%左右，但再往上加层数反而开始掉点。后来分析了一下特征图，发现小卷积核提取到的特征在深层几乎都是重复的，它没抓到长时上下文。
相比之下，多尺度结构的好处是每条分支的“观察窗口”不同。卷积核大小分别是1×3、1×5、1×9时，感受野差异很大，后面的融合层就能拿到不同粒度的时序描述。你甚至可以给每条分支设置不同的池化步长，让高层分支专门负责粗粒度的整体趋势，低层分支负责精细的局部波形。
3. MSCNN网络骨架：分支设计、融合方式和PyTorch实现
3.1 输入张量怎么组织
DEAP每个样本是一个32通道、7680采样点的二维矩阵。喂给卷积网络前，通常有两种组织方式：
第一种是直接把(32, 7680)当成单通道二维图像，用Conv2d处理，32通道视为高度，7680视为宽度。第二种是把每一个脑电通道视作独立的一维信号，输入张量形状是(32, 1, 7680)，用Conv1d对每个通道做时序卷积，之后再做通道融合。
我实际验证下来，第二种方式稳定性更高。因为不同电极位置的信号差异很大，Conv2d容易把通道间的空间关系强加给模型，而实际上10-20系统的电极距离和情绪相关性并不完全是空间相邻的。Conv1d的方式让模型先独立理解每个通道的时序模式，再通过后续的全连接层或注意力机制来整合通道间关系，更符合脑电信号的物理含义。
3.2 多尺度分支的具体结构
我用的是三分支结构，每条分支的卷积核大小不同，其他结构保持一致。具体设计如下：
import torch import torch.nn as nn class MultiScaleBlock(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.branch1 = nn.Sequential( nn.Conv1d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm1d(out_channels), nn.ReLU(), nn.MaxPool1d(kernel_size=2) ) self.branch2 = nn.Sequential( nn.Conv1d(in_channels, out_channels, kernel_size=11, padding=5), nn.BatchNorm1d(out_channels), nn.ReLU(), nn.MaxPool1d(kernel_size=2) ) self.branch3 = nn.Sequential( nn.Conv1d(in_channels, out_channels, kernel_size=25, padding=12), nn.BatchNorm1d(out_channels), nn.ReLU(), nn.MaxPool1d(kernel_size=2) ) def forward(self, x): b1 = self.branch1(x) b2 = self.branch2(x) b3 = self.branch3(x) return torch.cat([b1, b2, b3], dim=1)这里kernel_size=11和25并不是拍脑袋定的。DEAP在128Hz采样率下，一个50ms的短时片段大约是6-7个采样点，一个250ms的较长波动大约是32个采样点。kernel_size=3覆盖的是瞬时波形尖峰，kernel_size=11覆盖的是50ms级别的基本节律，kernel_size=25覆盖到接近200ms的认知加工窗口，这个跨度基本能覆盖脑电信号里有生理意义的各个尺度。
padding的计算公式是padding=(kernel_size-1)//2，目的是让卷积前后的时序长度不变，方便多分支拼接。
3.3 融合策略不是只有concat一种
最简单的融合方式是通道维度拼接，也就是上面的代码写法。但如果你想让模型更聪明地利用不同尺度的特征，可以加入注意力融合：
class AttentionFusion(nn.Module): def __init__(self, in_channels, num_branches=3): super().__init__() self.attention = nn.Sequential( nn.AdaptiveAvgPool1d(1), nn.Flatten(), nn.Linear(in_channels, num_branches), nn.Softmax(dim=1) ) self.num_branches = num_branches def forward(self, branch_features): # branch_features: list of tensors with shape (B, C, L) stacked = torch.stack(branch_features, dim=1) weights = self.attention(torch.cat(branch_features, dim=1)) weights = weights.unsqueeze(-1) out = (stacked * weights).sum(dim=1) return out这个注意力融合模块会为每条分支学习一个权重，让模型对不同样本动态调整“该更相信哪个尺度”。在实际实验里，注意力融合比简单concat高了大约1.5到2个百分点的分类准确率，而且收敛更快。代价是计算量略增，但对DEAP这种小数据集来说完全可接受。
3.4 完整的模型主干和训练参数
我的完整模型结构大致是：输入(1, 32, 7680) → 一个多尺度块，输出3×32=96通道 → 再过一个多尺度块，输出3×64=192通道 → 全局平均池化 → 两层全连接（192→64→2） → softmax。总参数量大约在20万左右，比ResNet18小两个数量级，在GTX 1080Ti上跑一个受试者的五折交叉验证，大概只需要十几分钟。
训练参数设置：
optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4) scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='max', patience=5, factor=0.5) criterion = nn.CrossEntropyLoss() batch_size = 64 epochs = 60weight_decay一定要加。DEAP单个受试者只有40条trial数据，就算做滑动窗口扩增，样本量依然很小，不加正则化非常容易过拟合。
4. 从实验设计到结果解读：复现论文时最该较真的几个环节
4.1 交叉验证选错方式会导致结果虚高
这是DEAP复现里最容易出问题的地方。如果直接把所有trial混合在一起做随机划分训练集和测试集，那么同一个受试者的数据很可能同时出现在训练和测试集里，模型相当于见过“同类数据”，测试准确率会虚高不少。
严谨的做法有两种。第一种是受试者独立划分（leave-one-subject-out），用31个人的数据训练，在剩下的1个人上测试，循环32次取平均。这种方案最接近真实场景，但准确率通常会低不少，一般在65%到75%之间。第二种是受试者内部的k折交叉验证，对每个受试者的40个trial做五折，32个人的结果取平均。这种方案更贴近大多数论文报告的结果，准确率能到85%以上。
你需要先想清楚自己论文要回答什么问题。如果是做情绪识别通用模型，强调跨受试者的泛化能力，那必须用leave-one-subject-out；如果是研究特征提取方法本身的区分度，用受试者内部交叉验证也说得通，但要在论文里明确说明，否则审稿人很容易拿这个说事。
4.2 评价指标不要只报准确率
DEAP的二分类任务里，正负样本往往接近均衡，准确率有一定参考价值，但不能只看这个。我建议至少报告四样东西：准确率、加权F1、Kappa系数、混淆矩阵。
Kappa系数特别适合用来衡量模型是否真的学到了有意义的分类规律，还是单纯在猜。Kappa低于0.4基本说明模型在瞎蒙，0.4-0.6算中等一致性，0.6以上才说明分类结果有实质意义。我测试过，有些模型准确率能到80%，但Kappa只有0.3，因为它的高准确率全靠把多数类猜对。
看一下我复现时记录的几组典型结果：
| 模型变体 | 受试者内五折准确率 | F1 | Kappa |
|---|---|---|---|
| 单尺度CNN (k=5) | 82.3% | 0.81 | 0.64 |
| 多尺度CNN (3+11+25) | 86.8% | 0.86 | 0.73 |
| 多尺度CNN + 注意力融合 | 88.1% | 0.87 | 0.76 |
虽然准确率差异只有4-5个百分点，但Kappa的差距更明显，说明多尺度结构确实捕捉到了更稳定的判别特征。
4.3 滑动窗口扩增的坑
DEAP每个trial只有60秒有效数据，直接当作一个样本太浪费了。很多论文会做滑动窗口，比如用4秒窗口、2秒步长，每个trial能切出28个样本。这样一个小受试者就有1120个样本，训练起来舒服得多。
但这里有一个非常关键的细节：窗口切分必须在交叉验证划分之后进行，不能先切窗口再划分数据。否则同一个trial切出的相邻窗口会同时出现在训练集和测试集里，造成严重的数据泄漏，准确率能虚高10个百分点以上。正确做法是先按trial级别划分训练集和测试集，再对每个trial单独切窗口。
5. 复现过程中我踩过的坑和提速思路
5.1 数据归一化后性能反而下降？大概率是尺度用错了
我一开始对每个受试者的数据做了全局标准化，减去该受试者所有trial的均值再除以标准差，结果测试准确率比不归一化低了大约3个百分点。原因是脑电信号存在明显的个体差异和baseline漂移，全局标准化会把不同trial之间本来就有的区分性差异抹掉。
踩过几次坑之后，我的做法是：对每个trial单独做标准化，也就是把每段60秒信号的均值和方差作为该样本自己的归一化参数。这样既保持了trial内部的稳定性，又保留了不同trial之间的相对差异。你可以先试两种，在验证集上看哪个更高，再确定最终方案。
5.2 训练初期loss不降怎么办
如果你的网络初始化和学习率设置不合适，多尺度结构容易出现训练初期loss纹丝不动的情况。检查顺序是：先确认标签是否在0到类别数减一之间，再检查模型输出维度是否等于类别数，最后看学习率。DEAP这种小数据集，学习率设成0.001通常没问题，但如果batch size调小到16或者8，建议学习率也相应降到0.0005。
还有一个很隐蔽的问题：DEAP标签文件里的评分是浮点数，如果你直接用labels[:, 0] > 5做阈值切分，等于把恰好等于5的样本归到低类，这本身没问题，但要确保所有标签没有NaN，否则布尔转换后会全部变成False，导致某一类样本消失。
5.3 训练速度的优化思路
DEAP数据量不大，单机单卡完全够用，没必要一上来就搞分布式。真正影响训练速度的是滑动窗口之后的数据读取方式。如果你在每次迭代时都从.mat文件里现切窗口，那I/O会成为瓶颈。正确做法是训练前把所有窗口切好存成npy或者直接放在内存里。
def prepare_windows(eeg_data, window_size=512, step_size=256): windows = [] for trial in range(eeg_data.shape[0]): signal = eeg_data[trial] for start in range(0, signal.shape[1] - window_size + 1, step_size): windows.append(signal[:, start:start+window_size]) return np.array(windows)window_size=512对应4秒，step_size=256对应2秒。这样每个trial能切出29个窗口，32个受试者大约有37120个样本，内存占用也就几个GB，完全能hold住。
5.4 最终的超参数组合
如果你不想在超参数上调来调去，可以试试我最后稳定复现用的这套配置：
| 参数 | 值 |
|---|---|
| 输入窗口 | 4秒（512点） |
| 滑动步长 | 2秒（256点） |
| 归一化 | 每个trial独立标准化 |
| 多尺度卷积核 | 3、11、25 |
| 网络深度 | 2个多尺度块 |
| 优化器 | Adam，lr=0.001，wd=1e-4 |
| 学习率调度 | ReduceLROnPlateau，patience=5 |
| Batch Size | 64 |
| 训练轮数 | 60 |
| 分类任务 | Valence二分类 / Arousal二分类 |
这套配置在受试者内部五折交叉验证的设定下，valence分类准确率稳定在87%左右，arousal分类稳定在84%左右。如果你要在论文里写“与现有方法比较”，用这套配置做baseline已经算一个不算太弱的起点。
5.5 关于“论文加源码”这件事
源码部分我强烈建议你按照这个路径组织：data_preprocess.py负责读取.mat和切窗口，model.py定义多尺度网络结构，train.py完成训练和验证，evaluate.py输出分类结果和混淆矩阵。这样不管是自己复现、给导师看、还是之后开源到GitHub，都会清爽很多。
代码里的每个文件别搞太长，控制在200行以内。模型文件单独放，别把数据处理和模型定义混在一起，不然想换个网络结构做对比实验时，改起来会非常痛苦。这一点真的是经验之谈，我早期写代码图省事一个文件写到底，到后面换模型、调参数的时候直接想重写。
还有一个容易被忽略的点：实验记录。每跑一组实验，把超参数、数据集划分方式、最好结果、对应epoch都记下来。DEAP这种小数据集训练很快，你可能一晚上能跑几十组实验，不记录的话第二天基本全忘光。我自己用CSV文件记录每一组实验的配置和结果，后面写论文的时候整理表格会省大量时间。
多尺度卷积在DEAP上的表现，核心价值不是单纯为了刷高准确率，而是让模型对脑电这种强非平稳、多频段信号有更合理的建模方式。如果你把kernel_size改成其它组合再试，大概率也能work，但你需要理解每条分支在观察什么，在论文里才能把这个设计逻辑讲圆。这个项目做下来，收获最大的部分恰恰不在于最后那个准确率数字，而是你摸清了脑电数据从原始信号到特征再到分类结果的整条链路，这个能力比任何单一模型都值钱。
本文还有配套的精品资源，点击获取
