WavLM 完整使用指南：加载模型、提取特征到语音任务全流程
【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm
如果你需要把一段 16kHz 的语音变成可用于下游任务的特征向量，WavLM 是目前绕不开的选项之一。它是微软推出的大规模自监督语音预训练模型，一次训练就能覆盖"全栈语音处理"——从语音识别、说话人验证，到语音分离、说话人日志（diarization，即判断"谁在什么时候说话"）。本文基于 wavlm/ 目录下的官方实现，带你从零加载预训练权重、提取各层特征，并看懂官方在各大基准上的真实跑分，最后给出几条官方认可的调优做法。
先搞清楚 WavLM 能干什么
WavLM 的核心思路：不用人工标注，直接让模型在海量无标注语音上"自监督"学习。特别的是，它把内容信息（说了什么）和副语言信息（谁说的、情绪如何）分开建模，所以一个模型就能同时服务识别类任务和说话人类任务。
下图是官方给出的 SUPERB 基准（语音表征通用评测平台）结果对比，可以直观看到 WavLM Large 在各任务上的位置：
模型本体就两个文件，结构简单清晰：
- wavlm/WavLM.py：WavLM 主干网络与特征提取逻辑（含预训练用的随机掩码策略
compute_mask_indices） - wavlm/modules.py：注意力、归一化等基础模块
- wavlm/README.md：官方使用说明与全部实验数据
三档预训练模型怎么选
WavLM 提供三个规格，差别主要在预训练语料量和模型大小。官方模型表（wavlm/README.md 的 Pre-Trained Models 一节）整理如下：
| 模型 | 预训练数据 | 适合场景 |
|---|---|---|
| WavLM Base | 960 小时 LibriSpeech | 轻量部署、快速验证想法，算力紧张时的默认起点 |
| WavLM Base+ | 9.4 万小时（Libri-Light 60k + GigaSpeech 10k + VoxPopuli 24k） | 速度与效果的平衡点，显存有限但想榨性能 |
| WavLM Large | 同上 9.4 万小时，且参数更大 | 追求极限精度的正式场景 |
选择口诀：先跑 Base 建立 baseline，有算力余量再上 Base+/Large。所有权重都可以通过 README 里给出的 Azure Storage / Google Drive 链接下载，文件名形如WavLM-Large.pt，放进你自己的路径即可。
另外提一句：WavLM 已被 HuggingFace 和 s3prl 收录，如果你熟悉这两个生态，可以直接用它们的接口做下游微调，不必只走本文的手动加载路线。
5 分钟跑通第一段代码：加载权重并提取特征
下面这段代码来自官方 README，是理解 WavLM 的最小闭环。注释里写清了每一步在做什么：
import torch from WavLM import WavLM, WavLMConfig # 1. 加载预训练检查点（.pt 文件里同时存了配置和权重） checkpoint = torch.load('/path/to/wavlm.pt') cfg = WavLMConfig(checkpoint['cfg']) model = WavLM(cfg) model.load_state_dict(checkpoint['model']) model.eval() # 2. 准备输入：16kHz 单通道波形，形状 [1, 10000] 表示 1 条 0.625 秒的语音 wav_input_16khz = torch.randn(1, 10000) # 3. 模型要求先做 layer_norm 归一化（cfg.normalize 为 True 时） if cfg.normalize: wav_input_16khz = torch.nn.functional.layer_norm(wav_input_16khz, wav_input_16khz.shape) # 4. 提取最后一层的表征 rep = model.extract_features(wav_input_16khz)[0]几个新手容易踩的坑：
- 采样率必须是 16kHz。如果你的音频是 44.1kHz，先重采样再喂进去。
- 输入形状是
[batch, 时间步]的原始波形，不是 mel 谱——特征前处理由模型自己完成。 extract_features默认只返回最后一层的特征；想要中间层，看下面的进阶用法。
进阶：一次拿到每一层的特征
做下游任务时，哪一层特征最好往往因任务而异。WavLM 支持把 24 层（Large 配置下）的特征全部取出来：
# 传入 output_layer 与 ret_layer_results，逐层输出全部表征 rep, layer_results = model.extract_features( wav_input_16khz, output_layer=model.cfg.encoder_layers, # 编码器总层数 ret_layer_results=True )[0] layer_reps = [x.transpose(0, 1) for x, _ in layer_results] # 每层一个 [时间, 维度] 张量官方在 README 里给出的调优建议很明确：把所有层特征取出来做加权求和（weighted sum），通常比单用最后一层更稳。这条建议值得直接抄进你的下游管线。
四个高频任务的真实跑分
以下数据全部取自 wavlm/README.md，数字越小代表错误率越低、效果越好。
说话人验证（判断两段声音是否同一人）
用 VoxCeleb2 开发集微调后，在 VoxCeleb1 三个子集上的 EER（等错误率，%）：
| 模型 | Vox1-O | Vox1-E | Vox1-H |
|---|---|---|---|
| ECAPA-TDNN（传统基线） | 0.87 | 1.12 | 2.12 |
| UniSpeech-SAT large | 0.771 | 0.781 | 1.669 |
| WavLM large（冻结预训练层微调） | 0.59 | 0.65 | 1.328 |
| WavLM large + 大间隔微调与分数校准 | 0.33 | 0.477 | 0.984 |
对比传统上最强的 ECAPA-TDNN，Vox1-H 上 0.33 vs 0.87——差距是相当明显的，嘈杂场景下优势更突出。
语音分离（把混在一起的多人语音拆开）
在 LibriCSS 数据集上测 SI-SDR（dB，越大越好），OV 系列是带噪声、带混响的更难设定：
| 模型 | 0S | 0L | OV10 | OV20 | OV30 | OV40 |
|---|---|---|---|---|---|---|
| Conformer（当时 SOTA） | 4.5 | 4.4 | 6.2 | 8.5 | 11 | 12.6 |
| HuBERT base | 4.7 | 4.6 | 6.1 | 7.9 | 10.6 | 12.3 |
| UniSpeech-SAT large | 4.3 | 4.2 | 5.0 | 6.3 | 8.2 | 8.8 |
| WavLM large | 4.2 | 4.1 | 4.8 | 5.8 | 7.4 | 8.5 |
WavLM base+ 与 large 的差距不大，说明分离任务上 base+ 就是性价比之选。
说话人日志（谁在什么时间段说话）
在 CALLHOME 电话会议数据集上测 DER（Diarization Error Rate，%）：
| 模型 | 2人 | 3人 | 4人 | 5人 | 6人 | 总体 |
|---|---|---|---|---|---|---|
| EEND-EDA clustering（当时 SOTA） | 7.11 | 11.88 | 14.37 | 25.95 | 21.95 | 11.84 |
| WavLM Base | 6.99 | 11.12 | 15.20 | 16.48 | 21.61 | 11.75 |
| WavLM large | 6.46 | 10.69 | 11.84 | 12.89 | 20.70 | 10.35 |
注意 5 人场景：WavLM large 12.89 vs EEND-EDA 25.95，人数越多、对话越混乱，它的相对优势越大。
语音识别（LibriSpeech）
ASR 结果官方以图呈现（WER 越低越好）：
下图则是 SUPERB 官方排行榜的截图，WavLM Large 的综合分（Score-P 84.6 一档）在同期模型中位居前列，可作为选型时的参照：
落地时的四条调优建议
官方 README 没有给出独立的优化文档，但综合其实验设置，有四条可操作的做法值得跟进：
- 层特征加权融合：如前所述，
ret_layer_results=True取出所有层后做加权求和，是官方明确推荐的表征用法。 - 按任务换配置：分离任务 base+ 就够了；验证/日志任务对 large 收益明显——不必盲目堆大模型。
- 微调策略：说话人验证一类任务，官方实验里"冻结预训练层微调 + 大间隔损失微调 + 分数校准"的组合把 EER 从 0.59 压到 0.33，微调方式比单纯加大学习率影响更大。
- 善用生态：HuggingFace / s3prl 已适配 WavLM，下游微调、批量推理可以直接复用它们的工具链，省去手写数据管线的成本。
写在最后
WavLM 的价值在于"一个预训练底座覆盖多类语音任务"：识别、验证、分离、日志共用同一套特征提取代码，切换任务时改的只是后接的 head 和微调数据。仓库里 wavlm/WavLM.py 不足 800 行，读一遍源码对理解自监督语音模型的掩码策略（compute_mask_indices）和编码器结构都有帮助。如果这个项目对你有用，建议直接收藏 wavlm/ 目录的 README 作为常备参考。
【免费下载链接】unilmLarge-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities项目地址: https://gitcode.com/GitHub_Trending/un/unilm
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
