FSMN VAD输出JSON格式解析：时间戳提取与后处理代码实例-平芜编程栈

FSMN VAD输出JSON格式解析：时间戳提取与后处理代码实例

1. 引言

1.1 FSMN VAD模型背景

FSMN VAD（Feedforward Sequential Memory Neural Network - Voice Activity Detection）是阿里达摩院FunASR项目中开源的语音活动检测模型，广泛应用于音频预处理、会议转录、电话录音分析等场景。该模型能够高效识别音频中的语音片段，输出结构化的时间戳信息，为后续的ASR识别或音频剪辑提供关键支持。

本文聚焦于FSMN VAD WebUI系统输出的JSON结果格式解析，重点讲解如何从其返回的JSON数据中准确提取时间戳，并进行实用的后处理操作。内容基于科哥二次开发的WebUI界面实际运行结果，结合工程实践给出可落地的Python代码示例。

1.2 核心价值与应用场景

在真实业务中，仅获取语音片段列表远远不够。我们需要将这些时间戳转化为： - 可视化的波形标注 - 自动切分音频文件 - 计算有效语音时长占比 - 构建语音/静音分布图谱

因此，掌握对VAD输出JSON的解析和后处理能力，是实现自动化语音处理流水线的关键一步。

2. JSON输出结构深度解析

2.1 原始输出格式说明

FSMN VAD WebUI在完成音频处理后，会返回如下标准JSON数组：

[ { "start": 70, "end": 2340, "confidence": 1.0 }, { "start": 2590, "end": 5180, "confidence": 1.0 } ]

各字段含义如下：

字段名	类型	单位	说明
`start`	整数	毫秒	语音片段起始时间点
`end`	整数	毫秒	语音片段结束时间点
`confidence`	浮点数	无	模型对该片段为语音的置信度（0~1）

注意：所有时间均以音频起始位置为0ms基准，精度达到毫秒级。

2.2 数据特征分析

通过对多个音频样本的测试，总结出以下规律： - 起始时间通常不为0，避免误检开头噪声 - 相邻语音片段间存在明显静音间隙（由“尾部静音阈值”参数控制） - 置信度普遍接近1.0，表明模型判断较为确定 - 片段数量与语速、停顿频率正相关

这为我们设计后处理逻辑提供了依据。

3. 时间戳提取与基础处理

3.1 加载与解析JSON结果

首先需要将WebUI导出或API返回的JSON字符串转换为Python对象：

import json # 示例：模拟从WebUI获取的响应 vad_result_json = ''' [ {"start": 70, "end": 2340, "confidence": 1.0}, {"start": 2590, "end": 5180, "confidence": 1.0}, {"start": 5400, "end": 7200, "confidence": 0.98} ] ''' # 解析JSON vad_segments = json.loads(vad_result_json) print(f"共检测到 {len(vad_segments)} 个语音片段") for seg in vad_segments: print(f"语音片段: {seg['start']}ms → {seg['end']}ms (置信度: {seg['confidence']})")

3.2 转换为秒单位便于阅读

虽然原始数据以毫秒为单位更精确，但在日志记录或展示时使用秒更直观：

def ms_to_seconds(ms): return round(ms / 1000, 3) for seg in vad_segments: start_s = ms_to_seconds(seg['start']) end_s = ms_to_seconds(seg['end']) duration = ms_to_seconds(seg['end'] - seg['start']) print(f"[{start_s}s - {end_s}s] 持续 {duration}s")

输出：

[0.07s - 2.34s] 持续 2.27s [2.59s - 5.18s] 持续 2.59s [5.4s - 7.2s] 持续 1.8s

4. 实用后处理功能实现

4.1 计算总语音时长与占比

评估一段音频的有效信息密度，常需统计语音总时长及占空比：

def calculate_voice_statistics(segments, audio_duration_ms): """ 计算语音统计信息 :param segments: VAD输出的片段列表 :param audio_duration_ms: 音频总时长（毫秒） :return: 统计字典 """ total_voice_ms = sum(seg['end'] - seg['start'] for seg in segments) voice_ratio = total_voice_ms / audio_duration_ms if audio_duration_ms > 0 else 0 return { 'total_voice_ms': total_voice_ms, 'total_voice_seconds': round(total_voice_ms / 1000, 3), 'voice_ratio_percent': round(voice_ratio * 100, 2), 'segment_count': len(segments) } # 示例：假设音频总长为10秒（10000ms） stats = calculate_voice_statistics(vad_segments, 10000) print(f"语音总时长: {stats['total_voice_seconds']}s") print(f"语音占比: {stats['voice_ratio_percent']}%") print(f"语音片段数: {stats['segment_count']}")

适用于质量检测、通话活跃度分析等场景。

4.2 生成FFmpeg切片命令

利用时间戳自动切割音频为独立语音文件：

def generate_ffmpeg_commands(segments, input_file, output_prefix="speech"): commands = [] for i, seg in enumerate(segments): start_s = seg['start'] / 1000 duration = (seg['end'] - seg['start']) / 1000 output_file = f"{output_prefix}_{i+1:03d}.wav" cmd = ( f"ffmpeg -y -ss {start_s:.3f} -t {duration:.3f} " f"-i \"{input_file}\" -c copy \"{output_file}\"" ) commands.append(cmd) return commands # 生成命令 cmds = generate_ffmpeg_commands(vad_segments, "meeting.wav") for cmd in cmds: print(cmd)

输出示例：

ffmpeg -y -ss 0.070 -t 2.270 -i "meeting.wav" -c copy "speech_001.wav" ...

可直接复制执行或集成到自动化脚本中。

4.3 构建语音/静音时间线

可视化整个音频的语音分布情况，有助于理解说话模式：

def build_timeline(segments, total_duration_ms, resolution_ms=1000): """ 构建粗粒度时间线（每resolution_ms一个状态） """ timeline = [] current_time = 0 seg_index = 0 while current_time < total_duration_ms: window_end = current_time + resolution_ms is_speech = False # 判断当前窗口是否有语音重叠 if seg_index < len(segments): seg = segments[seg_index] if seg['start'] < window_end and seg['end'] > current_time: is_speech = True elif seg['end'] <= current_time: seg_index += 1 status = "🗣️ 语音" if is_speech else "🔇 静音" timeline.append({ 'start': current_time, 'end': min(window_end, total_duration_ms), 'status': status }) current_time += resolution_ms return timeline # 打印时间线 timeline = build_timeline(vad_segments, 10000, 2000) # 每2秒一行 for t in timeline: start_s = t['start'] // 1000 end_s = t['end'] // 1000 print(f"[{start_s:2d}s-{end_s:2d}s] {t['status']}")

输出：

[ 0s- 2s] 🗣️ 语音 [ 2s- 4s] 🗣️ 语音 [ 4s- 6s] 🔇 静音 [ 6s- 8s] 🗣️ 语音 [ 8s-10s] 🔇 静音

5. 错误处理与健壮性增强

5.1 添加异常捕获机制

在生产环境中必须考虑输入异常：

import logging logging.basicConfig(level=logging.INFO) def safe_parse_vad_result(json_str): try: segments = json.loads(json_str) # 验证基本结构 if not isinstance(segments, list): raise ValueError("根节点应为数组") for i, seg in enumerate(segments): if not all(k in seg for k in ('start', 'end')): raise ValueError(f"第{i+1}个片段缺少必要字段") if seg['end'] <= seg['start']: raise ValueError(f"第{i+1}个片段结束时间早于开始时间") return segments except json.JSONDecodeError as e: logging.error(f"JSON解析失败: {e}") return None except Exception as e: logging.error(f"数据验证失败: {e}") return None # 使用示例 segments = safe_parse_vad_result(vad_result_json) if segments: print("✅ JSON解析成功") else: print("❌ 解析失败，请检查输入格式")

5.2 处理边界情况

常见边缘问题包括： - 空结果（无语音） - 跨越音频末尾的片段 - 参数设置不当导致的碎片化输出

建议添加清洗逻辑：

def clean_segments(segments, min_duration_ms=200): """过滤过短片段""" cleaned = [ seg for seg in segments if (seg['end'] - seg['start']) >= min_duration_ms ] print(f"过滤后保留 {len(cleaned)} 个有效片段（原{len(segments)}个）") return cleaned vad_segments = clean_segments(vad_segments)