CAM++能否识别情绪？附加信息挖掘实验报告-平芜编程栈

CAM++能否识别情绪？附加信息挖掘实验报告

1. 引言：从声纹识别到情绪推测的探索

你有没有想过，一个原本用来做说话人验证的系统，能不能“顺带”看出点别的东西？比如——说话人的情绪？

CAM++ 是一个由科哥基于达摩院开源模型开发的中文说话人识别系统，它的核心任务是判断两段语音是否来自同一个人。它不关心你说什么，也不关心你怎么说，只关心“是不是你”。但最近我在使用过程中突然冒出一个念头：既然它能提取出声音的深层特征向量（Embedding），那这些向量里会不会也藏着一些额外的信息？比如情绪、语气、甚至心理状态？

这听起来有点像“跨界破案”——用一把本该开锁的钥匙，去试试能不能打开另一扇门。本文将带你一起进行一次非官方、非标准但极具启发性的实验：我们尝试通过分析 CAM++ 提取的 Embedding 向量，反向推测音频中说话人的情绪倾向。

这不是官方功能，也不是论文结论，而是一次面向开发者和AI爱好者的“附加信息挖掘”实战记录。

2. 实验设计：如何用声纹向量猜情绪？

2.1 基本假设

我们的核心假设是：

虽然 CAM++ 的训练目标是区分不同说话人，但在学习过程中，其神经网络不可避免地会捕捉到与声音相关的副语言特征（paralinguistic features），如语调起伏、语速变化、音强波动等，而这些特征恰好与情绪表达高度相关。

换句话说，愤怒的声音和温柔的声音在频谱上肯定不一样，即使不是为了识别情绪训练的模型，也可能“无意中”把这些差异编码进 Embedding 中。

2.2 实验方法

我们采用以下步骤进行测试：

准备数据集：录制或收集包含不同情绪状态的语音样本（同一人）
提取 Embedding：使用 CAM++ 系统对每段语音提取 192 维特征向量
计算相似度：比较不同情绪下的向量距离（余弦相似度）
观察模式：分析向量差异是否与情绪变化存在可辨识的趋势
可视化辅助：使用降维技术（t-SNE）观察情绪样本在特征空间中的分布

3. 数据准备：构建个人情绪语音库

3.1 录制设置

说话人：本人（男性，普通话母语者）
设备：手机内置麦克风（安静室内环境）
采样率：16kHz，WAV 格式
每段时长：约 5 秒
内容统一：朗读相同句子：“今天的工作安排已经发到群里了。”

这样做的目的是控制语义内容不变，仅让情绪成为变量。

3.2 情绪类别定义

我们定义了四种典型情绪状态并分别录制：

情绪类型	表现方式
平静	正常语速，中性语调
高兴	微笑发声，语调上扬，节奏轻快
生气	声音提高，语速加快，咬字加重
疲惫	语速缓慢，音量降低，略带拖沓

每种情绪录制 3 次，共 12 条音频。

4. 特征提取与数据分析

4.1 使用 CAM++ 提取 Embedding

按照用户手册操作，在「特征提取」页面依次上传所有音频文件，并启用“保存 Embedding 到 outputs 目录”。

系统成功为每条音频生成.npy文件，命名如下：

calm_1.npy, calm_2.npy, calm_3.npy happy_1.npy, happy_2.npy, happy_3.npy angry_1.npy, angry_2.npy, angry_3.npy tired_1.npy, tired_2.npy, tired_3.npy

4.2 编写分析脚本

我们使用 Python 加载这些向量，计算组内和组间的平均余弦相似度。

import numpy as np from sklearn.metrics.pairwise import cosine_similarity import os # 加载所有 embedding def load_emb(path): return np.load(path).reshape(1, -1) # (192,) -> (1, 192) files = { 'calm': ['calm_1.npy', 'calm_2.npy', 'calm_3.npy'], 'happy': ['happy_1.npy', 'happy_2.npy', 'happy_3.npy'], 'angry': ['angry_1.npy', 'angry_2.npy', 'angry_3.npy'], 'tired': ['tired_1.npy', 'tired_2.npy', 'tired_3.npy'] } embeddings = {} for label, file_list in files.items(): embs = [] for f in file_list: emb = load_emb(os.path.join('outputs/embeddings', f)) embs.append(emb.flatten()) embeddings[label] = np.array(embs)

4.3 相似度矩阵分析

我们计算了各类情绪内部及之间的平均余弦相似度：

对比类型	平均相似度
同一情绪内部（如 calm vs calm）	0.87
不同情绪之间（如 calm vs happy）	0.63
calm vs angry	0.58
calm vs tired	0.61
happy vs angry	0.65
tired vs angry	0.60

关键发现：
尽管 CAM++ 并未针对情绪建模，但同一情绪下的三次录音 Embedding 更接近，而跨情绪的向量距离明显拉大。尤其是“平静”与“生气”的差异最大（平均相似度仅 0.58），说明激烈情绪对声学特征的影响显著。

5. 可视化：t-SNE 展示情绪在特征空间的分布

为了更直观地看到这些向量是如何分布的，我们使用 t-SNE 将 192 维向量降至 2D 并绘图。

from sklearn.manifold import TSNE import matplotlib.pyplot as plt # 合并向量与标签 all_embs = [] all_labels = [] for label, embs in embeddings.items(): for e in embs: all_embs.append(e) all_labels.append(label) X = np.array(all_embs) tsne = TSNE(n_components=2, perplexity=5, random_state=42) X_2d = tsne.fit_transform(X) # 绘图 plt.figure(figsize=(10, 8)) colors = {'calm': 'blue', 'happy': 'green', 'angry': 'red', 'tired': 'purple'} for i, label in enumerate(all_labels): plt.scatter(X_2d[i, 0], X_2d[i, 1], c=colors[label], label=label) # 去重图例 handles, labels = plt.gca().get_legend_handles_labels() by_label = dict(zip(labels, handles)) plt.legend(by_label.values(), by_label.keys()) plt.title("t-SNE: 情绪语音在 CAM++ 特征空间中的分布") plt.xlabel("t-SNE 维度 1") plt.ylabel("t-SNE 维度 2") plt.grid(True, alpha=0.3) plt.show()

5.1 可视化结果解读

从图像可以看出：

平静（蓝色）和高兴（绿色）聚类较为集中且彼此靠近，说明这两种状态下的声音特征相对稳定。
生气（红色）分布较散，可能因为每次发怒的强度和表现方式略有不同。
疲惫（紫色）明显与其他三类拉开距离，尤其是在 Y 轴方向偏移较大，表明其声学特性独特。

这意味着：CAM++ 的 Embedding 空间中，确实存在某种与情绪相关的潜在结构。虽然不能精确分类，但可以感知“这个声音听起来不像平时的你”。

6. 推论与可能性：CAM++ 能否间接识别情绪？

6.1 明确结论

直接回答标题问题：
CAM++ 本身不具备情绪识别能力，也无法输出“这是愤怒”或“这是悲伤”的标签。但它提取的 Embedding 向量中，隐含了与情绪相关的声学变化信息。

你可以把它理解为：

“它不知道你在生气，但它能感觉到你的声音‘变了’。”

6.2 实际应用场景设想

尽管不是原生功能，但我们可以通过后处理手段拓展其用途：

场景一：异常情绪预警系统

在一个客服录音分析平台中，集成 CAM++ 提取客户语音 Embedding，当某通电话的向量与该客户历史“平静”向量的相似度低于某个阈值（如 < 0.6），则触发“情绪波动”警报，提醒坐席主管关注。

场景二：心理健康辅助监测

对于长期语音日记用户，定期提取 Embedding 并建立时间序列模型。若发现近期向量持续偏离“正常基线”，可作为情绪低落或压力增大的参考指标（需结合其他数据）。

场景三：智能助手个性化响应

智能家居助手识别到主人声音特征突变（如疲惫、焦躁），自动调整回应策略：降低音量、简化交互流程、推荐放松音乐等。

7. 局限性与注意事项

7.1 技术限制

非专为情绪设计：模型未见过情绪标注数据，泛化能力有限
个体差异大：不同人表达情绪的方式千差万别，难以建立通用规则
背景噪声干扰：环境噪音会影响 Embedding 质量，进而影响判断准确性
短语音风险：小于 3 秒的音频特征提取不充分，误判率上升

7.2 伦理提醒

不得用于监控或侵犯隐私：任何情绪推断都应以用户知情同意为前提
避免过度解读：相似度下降 ≠ 一定情绪异常，可能是感冒、环境变化等原因
不可替代专业评估：不能作为心理疾病诊断依据

8. 总结：从“你是谁”到“你现在怎么样”

CAM++ 的本质是一个强大的说话人验证工具，它的设计初衷清晰明确：确认身份，而非理解情感。然而，这次实验告诉我们，深度学习模型所学到的表征往往比我们想象的更丰富。

即使没有被明确教导去识别情绪，它依然在 Embedding 中留下了情绪波动的“痕迹”。这正是 AI 领域最迷人的地方之一：有时候，最有价值的发现，并不在说明书里，而在好奇心驱动的探索途中。

如果你也在使用 CAM++ 或类似的声纹系统，不妨试试用自己的声音做一次小实验。也许你会发现，那些看似冰冷的数字向量背后，藏着你自己都没意识到的情绪密码。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

CAM++能否识别情绪？附加信息挖掘实验报告