解决区分说话人不准问题
本文章来自我的博客，点击这里查看完整内容。
使用较短的录音，会出现无法准确区分说话人的情况，无论是使用cam++还是使用eres2netv2。
解决方案是修改vad参数，因为SenseVoiceSmall模型和Paraformer模型不同，SenseVoiceSmall模型，自身会输出带有标点符号的文字内容，而Paraformer输出的是没有标点符号的，需要额外借助punc模型添加标点符号，因此，在使用SenseVoiceSmall和声纹模型时会使用vad_segment的模式，这个模式只对使用了spk_model有用。其实就是分段计算声音特征值向量，后面用聚类算法进行聚类。如果这个vad切割的时间点不对，比如本来是两人讲话的声音，结果截取到一个vad_segment中了，这就会导致计算声纹特征值向量的值不准，进而影响聚类。因此，需要修改vad参数，使得切割的时间点更加精细。可以修改最大结束静音时间，改小些，同时把最大单个vad片段的时长缩短些。这都可以减少多个人的声音把切分到一个vad片段的风险，从而提升区分说话人的准确率。
同时根据官方的说法，用eres2netv2模型对短音频识别的准确率会比cam++更高。
因为我们是专门针对通话录音进行转写的，而通话录音通常是只有两人讲话的，一个是主叫一个是被叫，我们为了进一步提升识别说话人的准确率，我们可以预设说话人数量，比如设置preset_spk_num=2，这样就最多只能返回两个speaker。
如下面的代码：
result=model.generate(input=r"E:\test\Cantonese.mp3",batch_size_s=300,use_itn=True,preset_spk_num=2,merge_thr=0.50,language="yue")解决并发问题
对于生产上要使用这个些模型来说，我们想要尽可能的提高并发能力，那么我们可以修改batch_size_s值，这个是和batch_size有区别的，batch_size是固定的值，每次推送固定数据给CUDA处理，而batch_size_s是动态的。所以如果我们的显存够大，就应该尽可能设置更大的值，比如这里我使用2080Ti魔改显卡，显存是22GB的，那么我可以设置这个batch_size_s值为300到600。
其它
更多内容欢迎关注我的博客，我会经常发布关于ASR，TTS和LLM相关的内容。如果喜欢看视频，可以关注B站“编程分享录”。
如需公司Linux服务器部署企业ASR，也可以访问我的博客首页。点击这里跳转到我的博客。
