基于Python的多模态生理信号情感识别：从特征提取到融合策略实战

简介：本资源是一套基于Python实现的多模态生理信号情感识别高分毕业设计项目，面向计算机、人工智能、生物医学工程等专业本科生及毕设/课程设计学习者，解决真实场景下EEG、EOG等多通道生理信号融合建模与情绪分类问题。压缩包共39个文件（548.13MB），含6个.mat原始数据文件、8个.pkl预处理数据集（含CNN/RNN双路径特征格式）、2个核心训练脚本（.py）、2个Jupyter Notebook（含预处理与多模型训练）、12张结果可视化图（loss/acc曲线、混淆矩阵等）及完整项目报告与README说明文档。已有150人学习下载，项目经导师指导并获99分评审成绩，代码结构清晰、注释完备、环境配置简易，附带原始数据→预处理→特征提取→多模型训练→结果评估全流程实现，小白可直接运行复现，亦适合作为课程设计或期末大作业的高质量参考范例。

1. 项目概述与核心价值

最近在整理过往的项目资料，翻到了一个几年前做的、现在看来依然很有价值的课题：基于Python的多模态生理信号情感识别系统。当时为了完成一个课程大作业，从零开始折腾了将近两个月，最终不仅拿了高分，还让我对信号处理、机器学习和多模态融合有了非常深刻的理解。这个项目不是简单的“调包跑通”，而是从数据预处理、特征工程到模型设计、融合策略都亲手实现了一遍，踩过的坑和总结的经验，对后来做任何涉及多模态数据的项目都大有裨益。

简单来说，这个项目要解决的问题是：如何更客观、更准确地识别人的情感状态？传统的情感识别大多基于面部表情、语音或文本，但这些外部表现容易受到主观掩饰和环境干扰。生理信号，比如心电、皮电、脑电等，是人体自主神经系统活动的直接反映，更难被刻意控制，因此被认为是情感识别的“金标准”。但单一信号提供的信息有限，所以我们将心电、皮电、肌电等多种信号结合起来，利用Python构建了一套完整的处理和分析流水线，最终实现了一个端到端的情感识别模型。无论你是生物医学工程、人工智能，还是心理学交叉领域的学生或研究者，这个项目的思路和代码都能为你提供一个扎实的、可复现的实战框架。

2. 项目整体设计与思路拆解

2.1 为什么选择多模态生理信号？

情感是一个复杂的心理生理过程，会引发人体多个系统的协同反应。例如，紧张或恐惧时，交感神经兴奋，会导致心率加快（心电信号RR间期缩短）、皮肤导电性升高（皮电信号幅度增大）、肌肉可能不自觉地紧张（肌电信号能量增强）。单一模态的信号只能反映这个复杂反应的某一个侧面，就像盲人摸象。心电可能对 arousal（唤醒度，如平静vs兴奋）敏感，而皮电对某些特定的 valence（效价，如积极vs消极）变化反应更明显。

因此，多模态融合的核心思路是互补与冗余。互补性是指不同信号提供了独特的信息视角；冗余性是指多个信号可能对同一情感状态有相似的反应，这可以提高系统的鲁棒性，即使某个信号质量不佳或被干扰，其他信号也能“补位”。我们的设计目标就是搭建一个框架，能够有效提取这些异构信号中的情感相关特征，并将它们融合成一个更强大的综合判断。

2.2 技术栈选型与考量

整个项目完全基于Python生态，这是经过深思熟虑的：

1. 数据处理与科学计算：NumPy和Pandas是基石。生理信号本质上是时间序列数据，NumPy的高效数组操作对于滤波、滑动窗口计算至关重要。Pandas的DataFrame则完美地管理来自不同传感器、带有时间戳的多元数据，方便进行对齐、合并和特征表格化。
2. 信号处理：SciPy和NeuroKit2。SciPy提供了丰富的信号处理函数（如滤波、频谱分析）。NeuroKit2是一个专门用于生理信号处理的宝藏库，它封装了心电R波检测、皮电信号分解等复杂算法，能极大减少我们的底层编码工作量，让我们更专注于特征提取和模型部分。
3. 机器学习与深度学习：scikit-learn和PyTorch。项目前期，我们使用scikit-learn实现传统的机器学习流程（SVM、随机森林等），因为它接口统一、易于进行特征选择、模型评估和交叉验证。后期为了尝试更复杂的时序模型和端到端学习，我们引入了PyTorch来构建神经网络，其动态图机制在研究和原型阶段非常灵活。
4. 可视化与报告：Matplotlib和Seaborn用于绘制信号波形、特征分布图和混淆矩阵，是分析和调试的利器。最终的项目报告则用Jupyter Notebook结合Markdown生成，确保分析过程的可复现性。

这个技术栈平衡了开发效率与灵活性。利用成熟库快速搭建基线系统，同时在关键算法（如自定义融合层）上保留了自己实现的空间。

注意：项目初期不建议直接上最复杂的深度学习模型。先用scikit-learn+ 手工特征建立一个稳健的基线，理解数据特性后，再用深度学习去提升性能，这样路径更清晰，调试也有参照。

3. 核心模块解析与实操要点

一个完整的系统可以分解为几个核心模块，下面我逐一拆解其中的关键技术和实操细节。

3.1 数据预处理：从原始噪声到干净信号

生理信号采集环境复杂，工频干扰、运动伪迹、基线漂移无处不在。预处理的质量直接决定了天花板的高度。

1. 信号对齐与切片： 多模态数据首先面临同步问题。即使硬件同步了，存储时也可能有微小偏移。我们的做法是，以采样率最高的信号（通常是心电或脑电）为基准，通过插值将其他信号统一到同一时间轴上。情感分析通常基于“片段”，我们需要根据实验标记，将连续的信号流切割成一个个与情感诱发事件对应的数据片段（例如，观看一段视频期间的信号）。

2. 滤波去噪：

• 心电：主要干扰是工频（50/60Hz）和肌电噪声。一个经典组合是：先用一个0.5-40Hz的带通滤波器（如巴特沃斯滤波器）保留主要成分，再用一个陷波滤波器滤除工频。

  import neurokit2 as nk # 使用NeuroKit2进行预处理和R波检测 ecg_cleaned = nk.ecg_clean(ecg_raw, sampling_rate=1000, method="neurokit") signals, info = nk.ecg_process(ecg_cleaned, sampling_rate=1000) rpeaks = info["ECG_R_Peaks"] # 获取R波位置

• 皮电：信号缓慢变化，高频噪声是主要问题。通常采用低通滤波，截止频率设为1-5 Hz，以保留其缓慢的 tonic（基础水平）和 phasic（瞬时反应）成分。
• 肌电：关注肌肉活动的频带（通常20-500Hz）。需要高通滤波去除运动伪迹和低频漂移，再用低通滤波防止混叠。

3. 标准化/归一化： 不同被试的生理基础值差异巨大（如静息心率）。为了消除个体差异，让模型关注“变化”而非“绝对值”，必须进行标准化。常用方法是z-score标准化：(x - mean) / std。这里的均值和标准差必须在训练集上计算，然后用于验证集和测试集，这是避免数据泄露的关键一步。

实操心得：滤波器的参数（截止频率、阶数）需要根据你的具体数据和采样率反复调整并可视化效果。不要盲目套用论文参数。一个技巧是，画出原始信号和滤波后信号的频谱图，直观判断噪声是否被有效抑制，有用成分是否保留。

3.2 特征工程：从波形中提取情感“指纹”

这是项目的精髓所在。好的特征应该对情感变化敏感，同时对个体差异和噪声鲁棒。我们从时域、频域和非线性动力学三个维度提取特征。

1. 时域特征：

• 心电：RR间期（相邻R波的时间差）是核心。我们可以计算：平均RR间期、RR间期标准差、RMSSD（相邻RR间期差值的均方根）、pNN50（相差超过50ms的RR间期所占比例）。后两者是衡量心率变异性的重要指标，与压力、情绪调节密切相关。
• 皮电：SCR（皮肤电反应）的次数、幅度、上升时间、恢复时间。需要先使用nk.eda_phasic()将信号分解为 tonic 和 phasic 成分，再从 phasic 成分中检测SCR。
• 肌电：信号的均值、方差、均方根，这些反映了肌肉活动的整体强度。

2. 频域特征： 通过对信号进行傅里叶变换或计算功率谱密度来获得。

• 心电：将心率变异性信号转换到频域后，通常分为三个波段：超低频、低频、高频。低频高频比是一个经典的情感相关指标，常被认为反映了交感与副交感神经的平衡。
• 皮电/肌电：计算特定频段（如皮电0-2Hz）的功率谱积分，作为特征。

3. 非线性特征： 情感状态可能引起生理系统复杂度的变化。我们计算了：

• 样本熵：衡量时间序列的复杂性和不可预测性。压力状态下，生理信号可能变得更规律，样本熵降低。
• 庞加莱图：一种分析RR间期动态的方法，可以提取SD1、SD2等描述短期和长期变异性的指标。

# 示例：使用NeuroKit2和Entropy库计算特征 import numpy as np import neurokit2 as nk from entropies import sample_entropy def extract_hrv_features(rpeaks, sampling_rate): """从R波位置提取HRV特征""" hrv_features = nk.hrv_time(rpeaks, sampling_rate=sampling_rate) hrv_freq = nk.hrv_frequency(rpeaks, sampling_rate=sampling_rate) # 合并时域和频域特征 features = {**hrv_features, **hrv_freq} return features def extract_eda_features(eda_signal, sampling_rate): """从皮电信号提取特征""" eda_decomposed = nk.eda_phasic(eda_signal, sampling_rate) phasic = eda_decomposed["EDA_Phasic"] # 检测SCR并提取特征 scr_info = nk.eda_peaks(phasic, sampling_rate) features = { "SCR_Count": scr_info["SCR_Onsets"].shape[0], "SCR_Amplitude_Mean": np.mean(scr_info["SCR_Amplitude"]) if scr_info["SCR_Amplitude"].size > 0 else 0, "Tonic_Mean": np.mean(eda_decomposed["EDA_Tonic"]) } return features # 计算样本熵（需要安装entropies库） def compute_sample_entropy(signal, m=2, r=0.2): r = r * np.std(signal) # r通常设为信号标准差的0.1-0.25倍 return sample_entropy(signal, m=m, r=r)

4. 特征拼接与降维： 每个模态都会生成几十个特征，拼接后维度可能很高。我们使用scikit-learn的StandardScaler进行标准化，然后使用主成分分析或递归特征消除进行降维和特征选择，以避免维度灾难和过拟合。

3.3 模型构建与多模态融合策略

这是项目的另一个核心。我们尝试了两种主流的融合范式：特征级融合和决策级融合。

1. 特征级融合： 将来自心电、皮电、肌电的所有特征在输入模型前就拼接成一个长特征向量。然后送入一个分类器（如SVM、随机森林或全连接神经网络）进行训练。

• 优点：模型可以学习到不同特征之间的交互关系。
• 缺点：特征向量维度高，容易过拟合；不同模态的特征尺度和意义不同，直接拼接可能影响模型性能。
• 我们的实现：

  from sklearn.ensemble import RandomForestClassifier from sklearn.svm import SVC import torch.nn as nn # 传统机器学习方法 X_train = np.hstack([features_ecg_train, features_eda_train, features_emg_train]) # 特征拼接 y_train = labels_train clf = RandomForestClassifier(n_estimators=200, max_depth=10, random_state=42) clf.fit(X_train, y_train) # 简单的神经网络实现 class EarlyFusionNN(nn.Module): def __init__(self, input_dim, num_classes): super().__init__() self.fc1 = nn.Linear(input_dim, 128) self.bn1 = nn.BatchNorm1d(128) self.drop1 = nn.Dropout(0.5) self.fc2 = nn.Linear(128, 64) self.fc3 = nn.Linear(64, num_classes) self.relu = nn.ReLU() def forward(self, x): x = self.relu(self.bn1(self.fc1(x))) x = self.drop1(x) x = self.relu(self.fc2(x)) x = self.fc3(x) return x

2. 决策级融合： 为每个模态单独训练一个分类器，得到每个模态对于各类别的预测概率，最后再通过一个规则（如投票、加权平均、元分类器）进行综合决策。

• 优点：灵活，可以处理不同模态数据缺失的情况；每个模态的模型可以独立优化。
• 缺点：忽略了模态间的早期关联信息。
• 我们的实现：

  # 训练单模态分类器 clf_ecg = SVC(probability=True, kernel='rbf').fit(features_ecg_train, y_train) clf_eda = RandomForestClassifier().fit(features_eda_train, y_train) # ... 训练其他模态分类器 # 获取测试集概率 proba_ecg = clf_ecg.predict_proba(features_ecg_test) proba_eda = clf_eda.predict_proba(features_eda_test) # 加权平均融合 (权重可根据验证集性能调整) weights = {'ecg': 0.4, 'eda': 0.3, 'emg': 0.3} final_proba = weights['ecg'] * proba_ecg + weights['eda'] * proba_eda + weights['emg'] * proba_emg final_pred = np.argmax(final_proba, axis=1)

3. 基于深度学习的端到端与中间融合： 我们还探索了更先进的融合方式。使用一维卷积神经网络或长短时记忆网络直接从原始/轻度预处理的信号中提取高层次特征。

• 中间融合：每个模态先通过一个独立的子网络（如几个CNN层）进行特征提取，然后将提取出的特征张量在中间层进行拼接或进行注意力加权，再送入共同的分类网络。这种方式比特征级融合更“智能”，能让网络自行学习如何融合。

  class MidFusionCNN(nn.Module): def __init__(self, num_classes): super().__init__() # 每个模态的独立特征提取器 self.ecg_cnn = nn.Sequential(nn.Conv1d(1, 16, 5), nn.ReLU(), nn.MaxPool1d(2)) self.eda_cnn = nn.Sequential(nn.Conv1d(1, 16, 5), nn.ReLU(), nn.MaxPool1d(2)) # 融合后的分类器 self.fusion_fc = nn.Sequential( nn.Linear(16*2*（推导出的长度）, 128), # 需要根据输入长度计算 nn.ReLU(), nn.Dropout(0.5), nn.Linear(128, num_classes) ) def forward(self, ecg, eda): # 输入为各模态原始信号片段 feat_ecg = self.ecg_cnn(ecg.unsqueeze(1)) # 增加通道维 feat_eda = self.eda_cnn(eda.unsqueeze(1)) # 展平并拼接 feat_ecg = feat_ecg.view(feat_ecg.size(0), -1) feat_eda = feat_eda.view(feat_eda.size(0), -1) fused = torch.cat([feat_ecg, feat_eda], dim=1) output = self.fusion_fc(fused) return output

实操心得：没有“最好”的融合策略。对于小样本数据，决策级融合或简单特征级融合+传统模型可能更稳定。当数据量足够时，基于深度学习的中间融合潜力更大。务必在独立的验证集上对比不同策略，选择最适合你数据集的方案。

4. 完整实现流程与核心代码剖析

下面，我将以使用公开数据集DEAP为例，串联起整个实现流程。DEAP数据集包含了32名被试观看音乐视频时的脑电、眼电、肌电、皮电、呼吸、体温等多通道信号，以及他们对视频在效价、唤醒度等维度上的自我评分，非常适合做多模态情感识别。

4.1 环境搭建与数据加载

首先，创建一个独立的conda环境并安装依赖。

conda create -n affective python=3.8 conda activate affective pip install numpy pandas scipy scikit-learn matplotlib seaborn jupyter pip install neurokit2 torch torchvision torchaudio

加载DEAP数据（假设已下载并解压）。DEAP数据以MATLAB的.dat文件格式存储，我们可以用scipy.io读取。

import numpy as np import pandas as pd from scipy.io import loadmat def load_deap_data(data_path, participant=1): """加载单个被试的DEAP数据""" data = loadmat(data_path) # DEAP数据结构：data['data'] 是 40 trials x 40 channels x 8064 points # data['labels'] 是 40 trials x 4 (valence, arousal, dominance, liking) signals = data['data'] # 形状 (40, 40, 8064) labels = data['labels'] # 形状 (40, 4) # 通道信息：前32个是脑电，后面是生理信号（如GSR, Resp, EMG等） # 我们选取生理信号通道，例如GSR在通道33, EMG在通道39,40附近（需查文档确认） gsr_signal = signals[:, 32, :] # 假设第33通道是GSR emg_signal = signals[:, 38, :] # 假设第39通道是EMG # 采样率是128Hz，每个trial 63秒 (8064/128=63) sampling_rate = 128 # 我们使用效价和唤醒度作为目标，将其二值化（例如>5为高） valence = labels[:, 0] arousal = labels[:, 1] target_valence = (valence > 5).astype(int) # 高效价=1，低效价=0 target_arousal = (arousal > 5).astype(int) # 高唤醒=1，低唤醒=0 return gsr_signal, emg_signal, target_valence, target_arousal, sampling_rate

4.2 实现完整的处理与训练流水线

我们将上述模块组合成一个完整的、可复现的流水线。

import numpy as np from sklearn.model_selection import train_test_split, cross_val_score from sklearn.preprocessing import StandardScaler from sklearn.ensemble import RandomForestClassifier from sklearn.svm import SVC from sklearn.metrics import accuracy_score, classification_report, confusion_matrix import neurokit2 as nk class MultimodalAffectiveRecognition: def __init__(self, sampling_rate): self.sampling_rate = sampling_rate self.scalers = {} # 为每个特征集保存scaler self.models = {} # 用于决策级融合的模型 self.fusion_model = None # 用于特征级融合的模型 def preprocess_and_extract_features(self, signal_dict): """ 预处理并提取特征。 signal_dict: 字典，键为模态名，值为信号数据（n_trials, n_samples） 返回：字典，键为模态名，值为特征矩阵（n_trials, n_features） """ features_dict = {} for modality, signals in signal_dict.items(): all_features = [] for trial_signal in signals: trial_features = {} if modality == 'gsr': # 预处理皮电 cleaned = nk.eda_clean(trial_signal, sampling_rate=self.sampling_rate) # 分解并提取特征 decomposed = nk.eda_phasic(cleaned, sampling_rate=self.sampling_rate) trial_features['gsr_tonic_mean'] = np.mean(decomposed['EDA_Tonic']) trial_features['gsr_phasic_std'] = np.std(decomposed['EDA_Phasic']) # 可以添加更多特征，如SCR... elif modality == 'emg': # 带通滤波 20-250 Hz from scipy import signal b, a = signal.butter(4, [20, 250], btype='bandpass', fs=self.sampling_rate) filtered = signal.filtfilt(b, a, trial_signal) trial_features['emg_rms'] = np.sqrt(np.mean(filtered**2)) trial_features['emg_mean_abs'] = np.mean(np.abs(filtered)) # ... 处理其他模态 all_features.append(list(trial_features.values())) features_dict[modality] = np.array(all_features) return features_dict def train_decision_level(self, features_dict, labels, val_size=0.2): """训练决策级融合模型（每个模态一个分类器）""" X_train_dict, X_val_dict = {}, {} y_train, y_val = None, None for mod, feats in features_dict.items(): X_train, X_val, y_train, y_val = train_test_split(feats, labels, test_size=val_size, random_state=42, stratify=labels) X_train_dict[mod] = X_train X_val_dict[mod] = X_val # 标准化 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_val_scaled = scaler.transform(X_val) self.scalers[mod] = scaler # 训练分类器，这里以SVM为例 model = SVC(kernel='rbf', C=1.0, gamma='scale', probability=True) model.fit(X_train_scaled, y_train) self.models[mod] = model # 在验证集上查看单模态性能 val_pred = model.predict(X_val_scaled) acc = accuracy_score(y_val, val_pred) print(f"[{mod}] 单模态验证集准确率: {acc:.4f}") self._y_val = y_val self._X_val_dict = X_val_dict return y_train, y_val def fuse_decision_level(self, method='weighted_vote', weights=None): """决策级融合预测""" if not self.models: raise ValueError("请先训练单模态模型") proba_list = [] for mod, model in self.models.items(): X_val_scaled = self.scalers[mod].transform(self._X_val_dict[mod]) proba = model.predict_proba(X_val_scaled) proba_list.append(proba) proba_list = np.array(proba_list) # (n_modalities, n_samples, n_classes) if method == 'weighted_vote': if weights is None: weights = np.ones(len(self.models)) / len(self.models) # 平均权重 else: weights = np.array(weights) final_proba = np.tensordot(weights, proba_list, axes=([0], [0])) final_pred = np.argmax(final_proba, axis=1) elif method == 'majority_vote': preds = [np.argmax(p, axis=1) for p in proba_list] final_pred = np.apply_along_axis(lambda x: np.bincount(x).argmax(), axis=0, arr=np.array(preds)) return final_pred def train_feature_level(self, features_dict, labels, val_size=0.2): """训练特征级融合模型（早期融合）""" # 拼接所有特征 feature_list = [feats for feats in features_dict.values()] X_combined = np.hstack(feature_list) X_train, X_val, y_train, y_val = train_test_split(X_combined, labels, test_size=val_size, random_state=42, stratify=labels) # 标准化 self.scaler_combined = StandardScaler() X_train_scaled = self.scaler_combined.fit_transform(X_train) X_val_scaled = self.scaler_combined.transform(X_val) # 使用随机森林 self.fusion_model = RandomForestClassifier(n_estimators=200, max_depth=15, random_state=42) self.fusion_model.fit(X_train_scaled, y_train) val_pred = self.fusion_model.predict(X_val_scaled) acc = accuracy_score(y_val, val_pred) print(f"特征级融合（随机森林）验证集准确率: {acc:.4f}") return y_train, y_val, X_val_scaled, val_pred # 主程序流程示例 if __name__ == "__main__": # 1. 加载数据 gsr, emg, label_v, label_a, sr = load_deap_data('path/to/s01.dat') # 这里以唤醒度（arousal）二分类为例 labels = label_a # 2. 创建处理管道 processor = MultimodalAffectiveRecognition(sampling_rate=sr) # 3. 组织信号数据 signals = { 'gsr': gsr, # (40 trials, 8064 points) 'emg': emg } # 4. 提取特征 print("正在提取特征...") features = processor.preprocess_and_extract_features(signals) # features['gsr'].shape 会是 (40, 2)，因为我们只提取了2个特征示例 # 5. 训练与评估 - 决策级融合 print("\n--- 决策级融合训练 ---") y_train, y_val = processor.train_decision_level(features, labels) fused_pred = processor.fuse_decision_level(method='weighted_vote', weights=[0.5, 0.5]) fused_acc = accuracy_score(y_val, fused_pred) print(f"决策级融合（加权投票）验证集准确率: {fused_acc:.4f}") print(classification_report(y_val, fused_pred)) # 6. 训练与评估 - 特征级融合 print("\n--- 特征级融合训练 ---") y_train_f, y_val_f, X_val_scaled_f, pred_f = processor.train_feature_level(features, labels) print(classification_report(y_val_f, pred_f))

这个流水线类MultimodalAffectiveRecognition封装了从特征提取到两种融合策略训练的核心步骤。你可以很方便地替换其中的特征提取函数、分类器模型和融合规则。

4.3 模型评估与结果分析

仅仅看准确率是不够的。对于情感识别这种可能类别不平衡的任务，我们需要更全面的评估指标。

from sklearn.metrics import precision_recall_fscore_support, roc_auc_score, roc_curve import matplotlib.pyplot as plt import seaborn as sns def evaluate_model(y_true, y_pred, y_pred_proba=None, model_name=""): """综合评估模型性能""" acc = accuracy_score(y_true, y_pred) precision, recall, f1, _ = precision_recall_fscore_support(y_true, y_pred, average='weighted') print(f"=== {model_name} 评估结果 ===") print(f"准确率: {acc:.4f}") print(f"加权精确率: {precision:.4f}") print(f"加权召回率: {recall:.4f}") print(f"加权F1分数: {f1:.4f}") # 混淆矩阵 cm = confusion_matrix(y_true, y_pred) plt.figure(figsize=(6,5)) sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=['Low', 'High'], yticklabels=['Low', 'High']) plt.ylabel('真实标签') plt.xlabel('预测标签') plt.title(f'{model_name} - 混淆矩阵') plt.tight_layout() plt.show() # ROC曲线 (如果提供了概率) if y_pred_proba is not None and y_pred_proba.shape[1] == 2: fpr, tpr, _ = roc_curve(y_true, y_pred_proba[:, 1]) auc = roc_auc_score(y_true, y_pred_proba[:, 1]) print(f"AUC分数: {auc:.4f}") plt.figure() plt.plot(fpr, tpr, label=f'ROC curve (AUC = {auc:.2f})') plt.plot([0, 1], [0, 1], 'k--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title(f'{model_name} - ROC曲线') plt.legend(loc="lower right") plt.show() # 使用示例 evaluate_model(y_val, fused_pred, model_name="决策级融合") # 对于特征级融合，如果需要概率来计算AUC： if hasattr(processor.fusion_model, 'predict_proba'): y_proba_f = processor.fusion_model.predict_proba(X_val_scaled_f) evaluate_model(y_val_f, pred_f, y_proba_f, model_name="特征级融合")

通过对比混淆矩阵和ROC曲线，我们可以清楚地看到模型在哪些类别上表现好，哪些类别上容易混淆。例如，模型可能更容易识别高唤醒状态，而对低唤醒状态的区分度较差，这能指导我们后续进行数据增强或调整损失函数。

5. 常见问题、避坑指南与项目扩展

在实际操作中，你几乎一定会遇到下面这些问题。这里是我踩过坑后总结的经验。

5.1 数据与预处理相关问题

Q1：公开数据集（如DEAP, MAHNOB-HCI）的标签是连续的维度值，如何用于分类？A1：最常用的方法是二值化。例如，将效价和唤醒度的9点自评量表评分，以中值5为界，分为“高”和“低”两类。也可以做三分类（低、中、高）。更精细的做法是进行维度联合划分，比如将效价和唤醒度都高的区域定义为“兴奋”，都低的定义为“悲伤”，形成四象限的情感类别。这更符合情感理论，但数据量会被分割得更小。

Q2：不同被试的数据差异很大，如何提高模型的泛化能力？A2：这是生理信号情感识别的核心挑战——被试间差异。有几个策略：

1. 个性化校准：为每个被试记录一段基线（中性情绪）信号，在预处理时，用实验片段的特征值减去基线特征值，得到“变化量”作为特征。
2. 被试归一化：在标准化时，针对每个被试单独计算均值和标准差，而不是在整个训练集上计算。
3. 领域自适应：使用迁移学习技术，尝试将从一个被试学到的知识迁移到新被试。这在数据量少时非常有用。
4. 留一被试法：在评估模型泛化性时，使用“留一被试法”交叉验证，即每次将一个被试的所有数据作为测试集，其他被试的数据作为训练集。这比随机划分trial更严格，更能反映真实场景。

Q3：运动伪迹太严重，滤波也去不干净怎么办？A3：对于心电、肌电，运动伪迹是噩梦。可以尝试：

• 结合加速度计数据：如果数据集同时记录了加速度信号，可以用它来检测运动时段，并剔除或修复该时段的数据。
• 鲁棒的特征：选择对瞬时噪声不敏感的特征，例如基于整体分布的特征（如直方图特征）或经过平滑处理的特征。
• 异常值检测与处理：在特征层面，计算每个特征的Z-score，剔除绝对值过大的极端值（如 > 3倍标准差），或用中位数填充。

5.2 模型与训练相关问题

Q4：特征维度太高，样本量太少，模型过拟合严重。A4：小样本是多模态学习的常态。

1. 特征选择优先于降维：使用scikit-learn的SelectKBest（基于统计检验）或RFE（递归特征消除）选择与标签最相关的特征子集。这比PCA等无监督降维更有针对性。
2. 使用强正则化的简单模型：在尝试复杂神经网络前，先用L2正则化的逻辑回归或线性SVM作为基线。它们结构简单，不易过拟合，且能提供特征权重的可解释性。
3. 数据增强：对时序信号，可以加入轻微的时间扭曲、添加高斯噪声、随机缩放幅度来生成新样本。对于图像化的特征（如频谱图），可以使用图像的数据增强方法。
4. Dropout与早停：使用神经网络时，必须使用Dropout层和早停策略。

Q5：多模态融合时，如何确定每个模态的权重？A5：决策级融合中的权重设置是个学问。

1. 网格搜索：在验证集上，以一定步长（如0.1）调整各模态权重，选择使验证集性能最优的组合。
2. 基于单模态性能：给在验证集上单独表现更好的模态分配更高权重。例如，如果心电模态准确率70%，皮电65%，则可以按比例分配权重 0.7/(0.7+0.65) 和 0.65/(0.7+0.65)。
3. 学习权重：设计一个可学习的融合网络（如一个浅层神经网络或注意力层），将各模态的预测概率或高层特征作为输入，输出最终决策。让模型自己学会分配权重。

5.3 项目扩展与深入方向

如果你已经完成了基础版本，想让项目更具深度和创新性，可以考虑以下方向：

1. 引入注意力机制：在深度学习融合模型中，使用注意力机制让网络动态地关注对当前分类更重要的模态或特征。例如，在识别“恐惧”时，皮电和心电的权重可能自动增大。
2. 时序建模：情感是动态变化的。使用LSTM或Transformer来建模一个trial内信号随时间的变化模式，而不是简单地将整个片段平均成一个特征向量。
3. 多任务学习：同时预测效价和唤醒度两个维度。这两个任务共享底层的特征提取层，但拥有独立的输出层。这通常能比单独训练两个模型获得更好的泛化性能。
4. 结合上下文信息：如果数据集中有视频或音频刺激物，可以尝试将刺激物的特征（如视频的光流、音频的MFCC）作为另一个模态，与生理信号进行融合，构建“刺激-反应”联合模型。
5. 可解释性分析：使用SHAP或LIME等工具，分析是哪些特征对模型的决策贡献最大。这不仅能增加模型的可信度，还能反过来验证情感生理学的理论。

这个项目从构思到实现，是一个典型的“数据驱动”和“问题驱动”相结合的过程。它教会我的不仅仅是Python编程和机器学习调参，更重要的是如何将一个复杂的交叉学科问题，分解成可执行、可验证的步骤。最大的体会是，在开始写任何代码之前，花足够的时间去理解你的数据——看看它们的分布，画一画波形，算一算基本的统计量，思考每个数字背后的生理意义。这种直觉对于后续的特征设计和模型调优至关重要。最后，所有代码和详细的实验报告我都整理好了，希望能为你节省一些摸索的时间，让你能更专注于创造性的部分。

本文还有配套的精品资源，点击获取