news 2026/10/1 17:26:50

FreeSWITCH基于detect_speech和mrcp做实时识别(质检)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
FreeSWITCH基于detect_speech和mrcp做实时识别(质检)

freeswitch关于语音识别有detect_speech和play_and_detect_speech 2个模块,怎么区分这两个模块的用途呢,我是这样理解的,做机器人人机交互的时候,首先play_and_detect_speech,因为可控制的参数还蛮多的,尤其在需要打断的时候;做双通道语音识别就使用detect_speech。

官方wiki:

play_and_detect_speech:
https://developer.signalwire.com/freeswitch/FreeSWITCH-Explained/Modules/mod-dptools/6586714/#lua

detect_speech:

mod_dptools: detect_speech | FreeSWITCH Documentation

从文档可以看出,detect_speech的介绍相比play_and_detect_speech就偷懒了一些,并没有那么详细。

本文介绍detect_speech +mrcp做实时语音识别

场景如下:

A是呼叫平台,B是freeswitch网关,C是线路(用户),如何针对呼叫平台A做双向语音识别呢?

如果呼叫平台A也是基于freeswitch开发的,当然可以直接在a上面使用detect_speech实现;如果平台A不是基于freeswitch开发的,那就在A的必经之路上面加入一个freeswitch网关B,在网关B上面使用detect_speech实现坐席和用户的双向语音识别。

语音识别需要用到asr,连接asr采用mrcp来实现。

采用esl获取detect_speech的事件,相比play_and_detect_speech来说要复杂一些,这部分我倒不太熟;不过采用lua的话,可以使用 session:setInputCallback('onInput','')回调函数来获取结果,倒是方便很多。

获取结果后,拼接结果,将结果通过http接口传给后端应用,剩下的就由后端流程去处理,做实时质检、实时辅助等等功能了,效果如下:

以上语音识别呢,是基于句子的语音识别,因为使用的是mrcp,默认是没有中间结果;

还有一种方案是获取freeswitch的语音流,通过udp或其他方式实时推送给asr,这种方式可以实现基于每个字的实时识别,但是实现方式来说,需要基于freeswitch做二次开发了,复杂一些,而采用detect_speech呢,就是纯粹使用freeswitch提供的app来实现,不涉及freeswitch源码的改造。

如需更多帮助可私聊

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/1 17:26:37

初创企业团队建设实战指南:从找人到协作的完整路径

先说个开门见山的判断:绝大多数初创企业熬过产品关之后,不是死在竞争对手手里,而是死在自己人手里。产品不好可以迭代,方向不对可以调整,现金流紧张还能想办法,唯独团队散了、乱了、互相不信任了&#xff0…

作者头像 李华
网站建设 2026/10/1 17:26:33

Python花卉识别课程设计:迁移学习训练与答辩可视化全流程指南

简介:这是一份面向高校课程设计或深度学习入门者的花卉识别工程,围绕花卉图像自动分类这一任务,涵盖数据读取与划分、模型构建、训练测试和结果可视化等环节。压缩包共49个文件、约3.36MB,主体为15个jpg与13个png花卉样本、12个Py…

作者头像 李华
网站建设 2026/10/1 17:24:45

手写数字识别全链路实战:从MNIST原始数据解析到PyQt5实时推理

简介:本资源是一套基于Python与机器学习实现的手写数字识别系统完整源码,面向人工智能初学者、高校课程设计学生及机器学习实践者,解决手写数字图像分类与识别这一经典CV入门问题。压缩包共44个文件,大小8.06MB,涵盖11…

作者头像 李华
网站建设 2026/10/1 17:24:20

110张熊猫图双格式数据集:VOC与YOLO标注解析及YOLOv8训练实战

简介:这是一份面向目标检测初学者与算法验证人员的熊猫单类别数据集,采用Pascal VOC与YOLO双格式标注,可直接用于YOLO、Faster R-CNN等主流框架的训练与测试,省去格式转换的繁琐步骤。压缩包共332个文件,包含110张jpg原…

作者头像 李华
网站建设 2026/10/1 17:23:31

Unity实时同步Windows桌面:Windows Capture插件从黑屏到60帧实战

简介:这是一款面向Unity开发者的Windows桌面实时采集插件,用于在Unity场景中同步呈现Windows桌面画面,适合需要将桌面内容嵌入三维应用、虚拟展厅或录屏演示的开发者使用,对具备一定Unity基础的中级用户更为友好。资源包共141个文…

作者头像 李华