WavLM 语音预训练实操：4 个场景的最小接入路径

WavLM 语音预训练实操：4 个场景的最小接入路径

【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm

WavLM 是微软 UniLM 仓库中面向全栈语音处理的自监督预训练模型，提供 Base、Base+、Large 三种规格。本文带你完成规格选型、加载预训练权重并提取 16kHz 音频特征，以及说话人验证、语音识别等四个场景的接入方法。

WavLM 语音预训练是什么

WavLM 出自微软 UniLM 项目，技术路线是对原始波形做大规模自监督预训练，再按下游任务微调或直接取中间层表征。与传统 ASR 端到端模型或 ECAPA-TDNN 这类任务专用结构不同，它一套权重覆盖识别、分离、验证、diarization 等多类任务，在噪声环境下鲁棒性更好。下图是论文中 SUPERB 基准上的横向对比，WavLM Large 多数子任务处于第一梯队。

克隆仓库与安装依赖

git clone https://gitcode.com/GitHub_Trending/un/unilm cd unilm/wavlm pip install torch

仓库内没有单独的 requirements 文件，依赖以 PyTorch 为主；配置类与模型实现分别在 wavlm/WavLM.py 和 wavlm/modules.py，模型说明见 wavlm/README.md。

Base、Base+ 与 Large 的选型建议

三个规格的差异集中在参数量与预训练语料规模，来源见 wavlm/README.md 的 Pre-Trained Models 表：

规格	参数量级	预训练语料	推理开销	典型用途	权重获取
Base	94.70M	960 小时 LibriSpeech	最低	先跑通流程	Azure Storage / Google Drive
Base+	与 Base 同量级	60k+10k+24k 小时（Libri-Light/GigaSpeech/VoxPopuli）	中等	默认起点	Azure Storage / Google Drive
Large	316.2M	同 Base+（Mix 94k 小时）	最高	高精度验证与分离	Azure Storage / Google Drive

默认建议：显存受限时先选 Base+，流程验证通过后再换 Large 冲指标；Base 适合离线实验或快速对照。

加载预训练权重的最小示例

输入约定为 16kHz 单通道波形，形状 (batch, 样本数)；输出为最后一层表征，形状 (batch, 帧数, 隐层维度)。以下片段完成"加载权重 → 归一化 → 提特征"三步：

import torch from WavLM import WavLM, WavLMConfig checkpoint = torch.load('/path/to/wavlm.pt') cfg = WavLMConfig(checkpoint['cfg']) model = WavLM(cfg) model.load_state_dict(checkpoint['model']) model.eval() wav = torch.randn(1, 10000) # 16kHz 单通道语音 if cfg.normalize: wav = torch.nn.functional.layer_norm(wav, wav.shape) rep = model.extract_features(wav)[0]

按场景接入四个语音任务

说话人验证：VoxCeleb1 EER 对比

这个场景回答"两段音频是否同一人"。按 wavlm/README.md 的 Speaker Verification 表（VoxCeleb2 dev 微调、VoxCeleb1 评测，EER↓ / min CER↓）：

模型	Vox1-O	Vox1-E	Vox1-H
ECAPA-TDNN	0.87	1.12	2.12
WavLM large（固定预训练层）	0.59	0.65	1.328
WavLM large + 边距微调与分数校准	0.33	0.477	0.984

实现细节与调参入口见 wavlm/WavLM.py。

语音识别：LibriSpeech 测试集表现

这个场景解决"把语音转成文字"，取预训练模型接 ASR 头微调。仓库 README 的 Speech Recognition 一节给出 LibriSpeech 各测试集上的字错率曲线：

各数据点以 wavlm/README.md 该图及正文为准。

语音分离：LibriCSS SI-SNR 对比

这个场景处理多人重叠语音，输出各说话人的干净信号。按 README 的 Speech Separation 表（LibriCSS，SI-SNR↑）：

模型	OV10	OV20	OV30	OV40
Conformer（原 SOTA）	6.2	8.5	11	12.6
WavLM base+	5.6	7.5	9.4	10.9
WavLM large	4.8	5.8	7.4	8.5

评测设定同样写在 wavlm/README.md 对应小节。

说话人分离（diarization）：CALLHOME DER 对比

这个场景标注"谁在什么时候说话"。按 README 的 Speaker Diarization 表（CALLHOME，DER↓）：

模型	spk_2	spk_3	spk_4	spk_all
EEND-EDA clustering（原 SOTA）	7.11	11.88	14.37	11.84
WavLM large	6.46	10.69	11.84	10.35

二次训练与微调：取每层表征加权融合

微调阶段不必从头训练，官方建议extract_features(..., ret_layer_results=True)取出每层表征后加权求和，作为下游任务的输入特征；HuggingFace 与 s3prl 均已提供接入，下图是 SUPERB 榜单上 WavLM 系列模型的提交记录：

接口与配置项见 wavlm/WavLM.py，卷积与注意力模块在 wavlm/modules.py。

工程化建议

按任务选特征层。WavLM 默认 12 层编码器，Large 为 24 层（见 wavlm/WavLM.py 中WavLMConfig）。识别类任务倾向浅层信息，验证与分离类倾向深层，官方推荐做法是对每层表征做加权求和而非只取最后一层，权重按验证集网格搜索。

长音频按整段归一化。WavLMConfig的normalize默认打开，官方示例先做layer_norm再进模型。做滑窗切分时，归一化应在整段音频上完成后再切块，避免每块统计量不一致导致特征漂移。

量化与压缩。三个规格均为标准 PyTorch 权重，可先导出 ONNX 再量化；仓库未附现成脚本，建议以 torch 推理结果为基准对齐误差，具体数值以实际压测为准。

先 Base+ 后 Large。两规格预训练语料相同，Base+ 可用于验证数据管线与指标口径，确认有效后直接换 Large 权重，避免反复调试。

收尾

更多超参数、引用格式与联系方式见 wavlm/README.md；使用中的问题可在仓库 issue 区提交，作者也在那里回复模型相关疑问。

【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm