终于找到好用的语音情感分析工具，附详细步骤-平芜编程栈

终于找到好用的语音情感分析工具，附详细步骤

1. 背景与需求：为什么需要语音情感分析？

在智能客服、会议纪要、在线教育、心理评估等场景中，仅靠“语音转文字”已无法满足对用户情绪和语境理解的需求。传统ASR（自动语音识别）模型只能输出文本内容，而真实的人机交互需要感知说话人的情绪状态——是开心、愤怒还是悲伤？背景中是否有掌声或笑声？这些信息对于提升用户体验和系统响应智能化至关重要。

阿里达摩院开源的SenseVoiceSmall模型正是为此类需求量身打造。它不仅支持多语言高精度语音识别，还具备情感识别与声音事件检测能力，真正实现了“富文本转录”（Rich Transcription）。本文将带你从零开始部署并使用该模型，手把手完成语音情感分析全流程。

2. 技术选型：为何选择 SenseVoiceSmall？

面对市面上众多语音识别方案（如 Whisper、Paraformer、Emotion2Vec），我们为何推荐SenseVoiceSmall？以下是其核心优势：

✅多语言支持：中文、英文、粤语、日语、韩语均可识别。
✅情感标签识别：自动标注<|HAPPY|>、<|ANGRY|>等情绪标签。
✅环境音事件检测：可识别 BGM、掌声、笑声、哭声等非语音内容。
✅低延迟推理：基于非自回归架构，在 RTX 4090D 上实现秒级转写。
✅开箱即用 WebUI：集成 Gradio 可视化界面，无需编码即可操作。

相比其他模型，SenseVoice 在中文情感理解方面表现尤为突出，且原生支持富文本输出，极大简化了后处理流程。

3. 镜像环境准备与启动

3.1 获取镜像并初始化环境

本教程基于预置镜像“SenseVoiceSmall 多语言语音理解模型 (富文本/情感识别版)”，已集成以下依赖：

Python 3.11
PyTorch 2.5
funasr,modelscope,gradio,av
FFmpeg（音频解码支持）

若镜像未自动运行服务，请按以下步骤手动配置：

# 安装必要库 pip install av gradio -y

3.2 创建 WebUI 启动脚本

创建文件app_sensevoice.py，内容如下：

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用 GPU 加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 构建 Gradio 界面 with gr.Blocks(title="SenseVoice 智能语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 多语言语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 支持中、英、日、韩、粤语自动识别 - 🎭 自动检测开心、愤怒、悲伤等情绪 - 🎸 自动标注 BGM、掌声、笑声、哭声等事件 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果（含情感与事件）", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务 demo.launch(server_name="0.0.0.0", server_port=6006)

3.3 运行服务

执行命令启动 Web 服务：

python app_sensevoice.py

注意：首次运行会自动下载模型权重（约 1.8GB），建议保持网络畅通。

4. 本地访问 WebUI 界面

由于云平台通常限制公网直接访问端口，需通过 SSH 隧道进行本地映射。

4.1 建立 SSH 隧道

在本地电脑终端执行以下命令（替换[端口号]和[SSH地址]为实际值）：

ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]

连接成功后，打开浏览器访问：

👉 http://127.0.0.1:6006

你将看到如下界面：

左侧：音频上传区 + 语言选择下拉框
右侧：带格式的情感化文本输出

5. 实际测试与结果解析

5.1 测试音频准备

准备一段包含多种情绪和背景音的音频（例如会议发言、访谈片段或短视频录音），推荐使用.wav或.mp3格式，采样率 16kHz 最佳。

5.2 上传并识别

点击“上传音频”按钮导入文件
语言选择设为auto（自动识别）
点击“开始 AI 识别”

等待几秒后，右侧输出框将显示结构化文本，示例如下：

大家好！<|HAPPY|> 今天是我们项目上线的大日子，团队付出了很多努力。<|BGM: light_music|> 不过刚才测试时出现了一个 bug...<|SAD|> 我知道大家都很疲惫。<|PAUSE_LONG|> 但请相信我们一定能解决！<|ANGRY|><|LOUD|> 现在立刻排查问题！

5.3 输出标签说明

标签类型	示例	含义
情感标签	`<	HAPPY
`<	ANGRY
`<	SAD
声音事件	`<	BGM: jazz
`<	LAUGHTER
`<	APPLAUSE
`<	CRY
其他	`<	PAUSE_LONG
`<	LOUD

这些标签可用于后续的情绪趋势分析、会议摘要生成、客户满意度评分等高级应用。

6. 关键技术细节与优化建议

6.1 模型加载参数详解

model = AutoModel( model="iic/SenseVoiceSmall", trust_remote_code=True, vad_model="fsmn-vad", # 使用 FSMN-VAD 进行语音活动检测 vad_kwargs={"max_single_segment_time": 30000}, # 单段最长 30 秒 device="cuda:0" # 强制使用 GPU )

use_itn=True：启用 ITN（Inverse Text Normalization），将数字、日期等标准化。
batch_size_s=60：每批处理最多 60 秒音频，适合长语音分段处理。
merge_vad=True：合并相邻语音段，减少碎片化输出。

6.2 性能优化技巧

场景	优化策略
短音频批量处理	设置`batch_size`提高吞吐量
实时流式识别	使用`model.streaming()`接口
CPU 推理	移除`device="cuda:0"`，但速度显著下降
中文专用场景	固定`language="zh"`提升准确率

6.3 后处理函数的作用

rich_transcription_postprocess()函数负责将原始模型输出中的<|TAG|>转换为更易读的形式，例如：

<|HAPPY|>→ “(情绪：开心)”
<|BGM: pop|>→ “[背景音乐：流行]”

你也可以自定义此函数以适配业务系统需求。

7. 常见问题与解决方案

7.1 问题一：模型加载报错`ModuleNotFoundError: No module named 'modelscope'`

原因：缺少核心依赖库
解决方法：

pip install modelscope funasr torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118

7.2 问题二：音频无法播放或格式不支持

原因：未安装 FFmpeg 或av库缺失
解决方法：

apt-get update && apt-get install ffmpeg -y pip install av

7.3 问题三：WebUI 打不开或连接超时

检查点：

是否正确建立 SSH 隧道？
服务是否监听0.0.0.0:6006？
防火墙或安全组是否放行对应端口？

可通过netstat -tuln | grep 6006查看端口占用情况。

8. 总结

SenseVoiceSmall 是目前少有的集多语言识别、情感分析与声音事件检测于一体的开源语音理解模型。通过本文介绍的部署方式，你可以快速搭建一个可视化语音情感分析平台，适用于以下场景：

客服对话质量监控
在线课堂学生情绪反馈分析
视频内容自动打标
心理健康辅助评估系统

更重要的是，整个过程无需深度学习背景，借助 Gradio WebUI 即可实现“零代码”体验强大 AI 能力。

未来可进一步探索：

将识别结果接入数据库做长期情绪趋势分析
结合 LLM 对富文本内容生成摘要报告
部署为 REST API 供其他系统调用

掌握这项技术，意味着你已经迈入了“感知型语音交互”的新时代。

9. 参考资料

GitHub 项目地址：https://github.com/FunAudioLLM/SenseVoice
ModelScope 模型页：https://www.modelscope.cn/models/iic/SenseVoiceSmall
FunASR 文档：https://funasr.readthedocs.io

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

终于找到好用的语音情感分析工具，附详细步骤