FunASR性能优化：如何将RTF降至0.0076的秘诀-平芜编程栈

FunASR性能优化：如何将RTF降至0.0076的秘诀

【免费下载链接】FunASRA Fundamental End-to-End Speech Recognition Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Recognition, Voice Activity Detection, Text Post-processing etc.项目地址: https://gitcode.com/GitHub_Trending/fun/FunASR

实时率（Real Time Factor，RTF）是衡量语音识别系统性能的关键指标，代表语音识别耗时与音频时长的比值。在实际应用中，低RTF意味着系统能更快响应用户需求，尤其在长音频处理、多并发场景中至关重要。FunASR作为开源语音识别工具包，通过优化实现了0.0076的超低RTF，本文将深入解析其技术细节与实践方法。

性能优化架构概览

FunASR的性能优化基于完整的语音识别链路，集成了端点检测、语音识别和标点断句模型，通过GPU加速、动态批处理等技术实现高效推理。其软件包路线图显示，中文离线文件转写服务（GPU版本）是优化的核心场景，支持多路并发请求，在长音频测试集上实现了突破性性能。

图1：FunASR软件包路线图，展示了支持的服务部署类型及优化方向。详细架构可参考中文离线文件转写服务部署文档

核心优化技术解析

1. 模型组合与推理优化

FunASR采用"FSMN-VAD + Paraformer-large + CT-Transformer"的模型组合，通过以下方式提升性能：

FSMN-VAD：轻量级端点检测模型，快速定位语音片段，减少无效计算
Paraformer-large：基于非自回归结构的语音识别模型，平衡速度与精度
CT-Transformer：高效标点断句模型，支持并行推理

关键优化参数包括：

--gpu：启用GPU加速
--bladedisc true：使用BladeDisc优化推理计算图
--batch-size 20：动态批处理大小，充分利用GPU算力

2. 性能测试数据与配置

测试使用包含103个音频文件的长音频测试集（2-30分钟/文件），在Intel Xeon Platinum 8369B CPU和NVIDIA A10 GPU环境下，不同并发任务的性能数据如下：

concurrent-tasks	batch	RTF	Speedup Rate
1	1	0.0076	130
1	20	0.0048	208
5	20	0.0011	850
10	20	0.0008	1200+
20	20	0.0008	1200+

表1：GPU版本性能测试结果，数据来源于GPU Benchmark文档

对比CPU版本（单线程RTF 0.066，32线程加速比330+），GPU版本在相同硬件条件下实现了15倍以上的速度提升。

3. 关键优化参数配置

实现0.0076 RTF的完整命令示例：

./funasr-onnx-offline-rtf \ --model-dir ./damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-torchscript \ --vad-dir ./damo/speech_fsmn_vad_zh-cn-16k-common-onnx \ --punc-dir ./damo/punc_ct-transformer_cn-en-common-vocab471067-large-onnx \ --gpu \ --thread-num 20 \ --bladedisc true \ --batch-size 20 \ --wav-path ./long_test.scp

代码1：FunASR GPU版本性能测试命令，详细参数说明可参考GPU部署高级指南

实际部署与应用建议

1. 环境配置要求

GPU要求：NVIDIA GPU（推荐A10及以上），支持CUDA 11.0+
Docker环境：使用官方优化镜像funasr-runtime-sdk-gpu-0.2.0
内存要求：单实例建议16GB以上GPU内存，支持更大批处理

2. 性能调优建议

批处理大小：根据音频长度动态调整，长音频建议batch-size=20
线程数设置：CPU线程数建议设为GPU核心数的2-4倍
模型优化：使用--bladedisc true开启计算图优化，减少推理延迟

3. 版本更新与维护

FunASR团队持续优化性能，最新版本中文离线文件转写服务GPU 2.0已修复显存泄漏问题，建议通过以下方式获取更新：

# 拉取最新Docker镜像 docker pull funasr-runtime-sdk-gpu:0.2.0 # 查看版本更新日志 cat [runtime/readme_cn.md](https://link.gitcode.com/i/1c95b992c8ea87e5b6c71bc5d72faccc)