简介：面向语音增强与去混响的深度学习实践包，适合人工智能、语音信号处理方向的开发者与研究者。压缩包共144个文件，主体为43个Python脚本、37个文本说明与配置、21个WAV语音样本、7个Shell脚本及5个数据列表，整体约57.81MB，目录结构便于按流程查找。内含基于TensorFlow的speech-enhancement-Chinese-master实现，覆盖带噪/纯净数据划分、MFCC等特征预处理、卷积或循环网络模型构建、训练调参与防过拟合策略、SNR和PESQ等质量评估，以及模型推理接口；通过实际运行可掌握完整语音去噪与去混响流程。已有183人学习下载，适用于学术实验、课程设计或工程预研。
1. 基于深度学习的语音增强与去混响，先定边界
语音增强和去混响经常出现在同一个工程需求里，但它们其实对应两种不同的声学损伤：增强是去加性噪声，比如空调声、街道声；去混响是去卷积残响，比如房间里墙壁反射造成的尾音和发闷感。把这两件事同时交给深度学习模型处理，核心思路是学习一个从“脏”频谱到“净”频谱的映射，而不是靠传统谱减法或维纳滤波做手工规则。你拿到的基于深度学习的语音增强、去混响.zip往往是一个完整项目包，里面塞了训练代码、预训练权重、推理脚本和示例音频。这个标题里带.zip，对应的是“解压、配环境、跑通”这条落地路径。这篇文章就按这条路径展开：先说清楚任务边界和数据怎么造，再给出可复现的模型和训练方案，最后聊推理部署时必调的参数和容易让人卡住的坑。适合算法工程师、音视频开发者和准备用深度学习改造现有语音链路的人。
2. 先分清语音增强和去混响：任务定义与数据准备
2.1 语音增强与去混响的数学建模和评价指标
语音增强的常见模型是加性噪声模型：观测信号 y = s + n，目标是从 y 中估计干净语音 s。去混响则要处理卷积模型：y = s * h + n，其中 h 是房间冲激响应（RIR），混响相当于语音与 h 的卷积。真实场景里两者同时存在，所以工程上往往先构造带混响且带噪的混合信号，再让模型同时学习两部分补偿。数学建模不同，评价指标也各有侧重：PESQ 是感知语音质量评分，适合衡量增强效果，但对混响的敏感度不如对噪声；STOI 关注可懂度，混响导致的时间掩蔽效应会让 STOI 下降明显；SI-SNR 是尺度不变信噪比，它既是评估指标也常直接用作训练损失。训练时通常用 SI-SNR 做主动优化，PESQ 和 STOI 作为验证指标，因为 SI-SNR 是连续可导的，而 PESQ 不可微。
2.2 构建训练数据集：干净语音、噪声、混响、RIR
深度学习在语音增强和去混响上效果好不好，一半取决于数据构造。干净语音可以用 LibriSpeech 或 AISHELL 等开源语音库；噪声用 WHAM! 或 DNS-Challenge 提供的噪声段；混响需要 RIR 数据，可以下载公开 RIR 库，也可以用 pyroomacoustics 按房间尺寸、RT60 和麦克风位置在线生成。在线生成的好处是训练时每次采样不同的房间配置，模型能见到的声学条件更丰富，泛化性更好。
我一般会在训练前把数据生成逻辑单独抽成一个函数，方便后续替换。
import numpy as np import pyroomacoustics as pra def simulate_room(clean, sr, rt60=0.5, snr_db=10): # 生成一个矩形房间，尺寸随机控制在 4~8 米 room_dim = np.random.uniform([4, 4, 3], [8, 8, 4]) # pyroomacoustics 可以按目标 RT60 自动设置吸声系数 room = pra.ShoeBox(room_dim, fs=sr, max_order=15, ray_tracing=False) room.add_source([room_dim[0]/2, room_dim[1]/2, 1.5], signal=clean) mic_pos = [room_dim[0]/2 + 0.5, room_dim[1]/2, 1.5] room.add_microphone(mic_pos) room.simulate() reverb_wav = room.mic_array.signals[0] # 按信噪比叠加噪声 noise = np.random.randn(len(reverb_wav)) reverb_energy = np.sum(reverb_wav ** 2) noise_energy = np.sum(noise ** 2) scale = np.sqrt(reverb_energy / (noise_energy * 10 ** (snr_db / 10))) noisy = reverb_wav + scale * noise return noisy, reverb_wav这里的关键参数是max_order=15，它决定反射次数，反射次数越多混响越重；rt60=0.5是期望的混响时间，实际生成结果会有一定偏差，可以用room.simulate()内部估计的 RT60 做校正。如果项目包里已经带好了离线 RIR，建议检查 RT60 分布是否覆盖 0.3s 到 1.0s，只覆盖短混响会让模型在会议室、走廊等长混响场景失效。
2.3 特征提取与标签设计：幅度谱掩码与复数比掩码
数据准备好后，要先决定模型学什么。绝大多数深度学习语音增强模型都在短时傅里叶变换（STFT）的频谱域上工作，输出一个掩码，乘到带噪频谱上，再反变换回波形。最常见的标签是理想比掩码 IRM 和理想复数比掩码 ICRM。IRM 的优点是数值稳定，取值在 0 到 1 之间；缺点是它只修正幅度谱，相位不处理，听感上会有轻微金属感。ICRM 同时估计复数谱的实部和虚部，能恢复相位，但训练目标数值范围更大，需要额外的正则化。
用 PyTorch 构造 IRM 标签通常是这样：
def build_irm(clean_stft, noisy_stft): # clean_stft 和 noisy_stft 都是复数谱，形状 [B, F, T] clean_mag = torch.abs(clean_stft) ** 2 noisy_mag = torch.abs(noisy_stft) ** 2 irm = clean_mag / (noisy_mag + 1e-8) # 限制在 0~1，避免噪声主导帧出现离谱比值 return torch.clamp(irm, 0.0, 1.0)分母加1e-8是为了防止静音帧除零。实践中发现 IRM 的幂次可以调整，有的项目会用irm ** 0.5让目标更平滑，收敛更快。STFT 参数也要格外注意：窗长 512、帧移 128，对应采样率 16k 时是 32ms 窗、8ms 移，这个组合既能保留语音谐波，又不会让时间维度过大。FFT 点数固定为 512 时频点数是 257，去掉直流分量为 256，很多 U-Net 编码器会要求频率维可被 4 整除，所以优先把特征维定为 256。
2.4 数据增强技巧：随机裁剪与动态混响
语音增强和去混响的训练集不能一直不变，否则模型容易记住特定噪声和房间。常见做法是每个 epoch 动态采样：随机裁剪 2~3 秒片段，随机选择噪声类型和 SNR（比如 0~20dB 均匀采样），随机更新 RIR 参数。还有一种叫“语音混响联合扰动”的做法，把同一句话通过不同 RT60 的 RIR 各生成一遍，作为同一条数据的不同样本，增加输入的多样性。
在Dataset里实现时要注意__getitem__返回的波形长度要一致，否则DataLoader拼接 tensor 会报错。下面是一个动态采样片段：
def __getitem__(self, idx): clean = self.clean_wavs[idx] seg_len = int(3.0 * self.sr) # 3秒 start = np.random.randint(0, max(1, len(clean) - seg_len)) clean_seg = clean[start:start + seg_len] # 动态选择 RIR，可以是预先生成的数组，也可以实时调用 pyroomacoustics rir = self.rirs[np.random.randint(len(self.rirs))] reverb = np.convolve(clean_seg, rir)[:seg_len] noise = self.noise_segments[np.random.randint(len(self.noise_segments))] # 再随机裁一段噪声，长度与 seg_len 对齐 ...动态混响会显著增加 RIR 卷积的计算量，建议用scipy.signal.fftconvolve代替np.convolve，长度超过 512 时 FFT 卷积更快。
3. 搭建深度学习模型：从全卷积到双路径结构
3.1 基线模型：U-Net 做时频掩码
U-Net 是语音增强的常青树模型，结构简单、参数量小，适合作为 zip 项目里的第一个跑通模型。输入是带噪幅度谱，输出是 IRM 掩码。编码器通过卷积逐步下采样，提升时频感受野；解码器上采样恢复原始分辨率；跳跃连接把编码器特征传给解码器，避免高频细节丢失。
一个可用于验证的最小 U-Net：
import torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, ch_in, ch_out): super().__init__() self.conv1 = nn.Conv2d(ch_in, ch_out, 3, padding=1) self.bn1 = nn.BatchNorm2d(ch_out) self.conv2 = nn.Conv2d(ch_out, ch_out, 3, padding=1) self.bn2 = nn.BatchNorm2d(ch_out) def forward(self, x): x = torch.relu(self.bn1(self.conv1(x))) return torch.relu(self.bn2(self.conv2(x))) class UNet(nn.Module): def __init__(self, n_freq=256): super().__init__() self.enc1 = ConvBlock(1, 32) self.pool1 = nn.MaxPool2d((2, 2)) self.enc2 = ConvBlock(32, 64) self.pool2 = nn.MaxPool2d((2, 2)) self.bottleneck = ConvBlock(64, 128) self.up2 = nn.ConvTranspose2d(128, 64, (2, 2), stride=(2, 2)) self.dec2 = ConvBlock(128, 64) self.up1 = nn.ConvTranspose2d(64, 32, (2, 2), stride=(2, 2)) self.dec1 = ConvBlock(64, 32) self.out = nn.Conv2d(32, 1, 1) def forward(self, x): e1 = self.enc1(x) p1 = self.pool1(e1) e2 = self.enc2(p1) p2 = self.pool2(e2) b = self.bottleneck(p2) d2 = torch.cat([self.up2(b), e2], dim=1) d2 = self.dec2(d2) d1 = torch.cat([self.up1(d2), e1], dim=1) d1 = self.dec1(d1) return torch.sigmoid(self.out(d1))注意MaxPool2d((2, 2))会在频率维和时间维同时减半。输入n_freq=256，经过两次池化变成 64，解码器再恢复到 256，所以频点必须是 4 的倍数。如果 STFT 后频点是 257 或者 320，要先做裁剪或 padding。torch.sigmoid在输出层是为了把掩码压到 0~1，训练 IRM 正好匹配；如果改用 ICRM，最后一层要去掉 sigmoid，换成线性激活。
3.2 改进方向：双路径 Transformer 与跨窗口自注意力
U-Net 的问题是感受野有限，对混响这种长时依赖处理不好。混响尾音可能持续几百毫秒，对应几十个时间帧，而 U-Net 的有效感受野通常只有十几帧。更现代的做法是用双路径结构：把时频特征沿时间轴分成多个块，块内做自注意力捕捉频带间的依存关系，块间再做自注意力捕捉跨段时间关系。SepFormer、双路径 LSTM 都属于这一范式。近期热门的跨窗口自注意力（WSA）在局部窗口内计算注意力，再引入跨窗口交互模块，在计算量可控的前提下扩大感受野。
下面是一个双路径处理流程的伪代码：
# 输入 x: [B, N, L] 其中 N 是特征维，L 是时间步 B, N, L = x.shape S = 8 # 块数 K = L // S # 每块长度，需要 L 能被 S 整除 x = x.reshape(B, N, S, K).permute(0, 2, 1, 3) # [B, S, N, K] # 块内注意力：对每个块，在 N 维度上做多头注意力 x = intra_attention(x) # shape 不变 # 块间注意力：交换维度，变成 [B, K, S, N]，在 S 维度上做注意力 x = x.permute(0, 3, 2, 1) x = inter_attention(x) x = x.permute(0, 2, 3, 1).reshape(B, N, L)要实现真正的跨窗口注意力，还要设计相邻窗口重叠的交互模块，但核心就是把时间序列拆成块后多尺度建模。参数量上，双路径结构明显大于 U-Net，但换来的长时建模能力对去混响至关重要。
| 模型结构 | 感受野 | 计算代价 | 适用场景 | 典型缺点 |
|---|---|---|---|---|
| U-Net | 局部 | 低 | 实时噪声增强 | 难以处理长尾混响 |
| 双路径 Transformer | 全局 | 高 | 离线高质量去混响 | 显存占用大，因果改造困难 |
| WSA 跨窗口 | 中长距 | 中 | 服务端实时推理 | 窗口大小和重叠比例需要调参 |
3.3 训练策略与损失函数：SI-SNR 和幅度损失
训练阶段最影响听感的是损失函数。只算幅度谱 L2 损失，模型会倾向于输出模糊的估计；只算 SI-SNR 又可能在某些噪声段不稳定。普遍做法是组合损失：L = lambda * SI-SNR + L1 幅度损失。lambda 前大后小，训练前期让 SI-SNR 主导，后期用幅度损失微调谐波结构。
SI-SNR 的 PyTorch 实现如下：
def si_snr_loss(pred, target): # pred 和 target 形状都是 [B, T]，先做零均值 target = target - target.mean(dim=-1, keepdim=True) pred = pred - pred.mean(dim=-1, keepdim=True) # 将 pred 投影到 target 方向 s_target = (pred * target).sum(dim=-1, keepdim=True) * target / (target ** 2).sum(dim=-1, keepdim=True) e_noise = pred - s_target snr = 10 * torch.log10((s_target ** 2).sum(dim=-1) / (e_noise ** 2).sum(dim=-1) + 1e-8) return -snr.mean()调用这个函数前，必须把模型输出的频谱图通过 iSTFT 变成波形。训练时如果 batch 内不同样本长度不同，要先 padding 到相同长度，并在计算损失时用 mask 忽略 padding 部分，否则 SI-SNR 会被无关静音帧拉低。
3.4 多任务学习：让一个模型同时学会增强和去混响
实际部署时不可能跑两个大模型，所以大多数 zip 项目都会做多任务联合训练：一个编码器共享特征，两个解码器头分别输出噪声掩码和混响掩码。噪声头学 IRM，混响头学早期反射分量与晚期混响的分界。损失函数 = L_noise + alpha * L_reverb，alpha 一般取 0.5~1.0。这样模型在抑制噪声的同时，也会抑制长尾混响，而且两个任务共享的特征能让低层表示更稳健。
还有一种做法是把去混响任务当作中间监督，即主任务还是增强，但在编码器和解码器之间插入一个混响估计分支，用该分支的输出计算辅助损失。这种设计能让编码器学到与房间声学相关的不变量，在弱噪声强混响场景下尤其管用。
4. 实战：跑通一个最小可复现的语音增强+去混响系统
4.1 开源工具和数据集的选型，以及安装环境
从.zip项目开始的第一步是把环境跑通。你下载的包里一般会包含训练好的权重和requirements.txt，没有的话就手动装核心依赖：
python -m venv venv source venv/bin/activate # Windows 下是 venv\Scripts\activate pip install torch torchaudio pip install librosa soundfile pyroomacoustics pesq pystoipesq和pystoi是评估指标库，pyroomacoustics用于 RIR 生成。如果你用的是 PyTorch 2.x，torchaudio里自带的torchaudio.functional已经包含了 STFT/iSTFT，不需要额外装librosa，但 librosa 在读取音频和画频谱图时更方便。
解压项目包：
unzip enh_dereverb.zip -d enh_dereverb cd enh_dereverb如果 zip 是在 Windows 上打的，某些波形文件或 Python 文件可能在 Mac/Linux 上解压后文件名乱码，可以用ls检查一下。乱码不影响代码执行，但如果你发现 import 错误，先检查目录里有没有同名文件冲突。
4.2 推理脚本：从掩码到波形重建
最小推理流程是把音频读进来，做 STFT，让模型输出掩码，乘到复数谱上，再 iSTFT 恢复波形。下面的脚本兼容了单声道和双声道：
import torch import torchaudio import numpy as np import soundfile as sf def enhance_wav(model, input_path, output_path, sr=16000): # 读取音频，重采样到 16k wav, orig_sr = sf.read(input_path, dtype='float32') if orig_sr != sr: wav = librosa.resample(wav, orig_sr=orig_sr, target_sr=sr) if wav.ndim > 1: wav = np.mean(wav, axis=1) # 转 torch 张量，shape [1, T] wav_tensor = torch.from_numpy(wav).unsqueeze(0) # STFT，返回复数谱 spec = torch.stft(wav_tensor, n_fft=512, hop_length=128, win_length=512, window=torch.hann_window(512), return_complex=True) mag = spec.abs() phase = spec.angle() # 模型推理，输入是幅度谱的 log 或直接幅度 with torch.no_grad(): mask = model(mag.unsqueeze(0)).squeeze(0) enhanced_mag = mag * mask # 重建复数谱 enhanced_spec = enhanced_mag * torch.exp(1j * phase) # iSTFT enhanced_wav = torch.istft(enhanced_spec, n_fft=512, hop_length=128, win_length=512, window=torch.hann_window(512)) sf.write(output_path, enhanced_wav.numpy().squeeze(), sr)这里的torch.stft要求输入是 batch 维加时间维，输出复数谱，return_complex=True把实部和虚部合在一起。模型输入如果是 log 幅度谱，推理时也要先做torch.log(mag + 1e-8)，模型内部如果有 BatchNorm，它会记住训练时的均值方差，输入分布变了会直接崩。另外注意hop_length=128为 8ms，帧移越小波形拼接越平滑，但计算量会线性增加。
4.3 性能评估与听感调试：PESQ、STOI 和 RT60 权衡
评估不能只看一个指标。先算 PESQ 和 STOI：
from pesq import pesq from pystoi import stoi import soundfile as sf ref, sr1 = sf.read('clean.wav') enh, sr2 = sf.read('enhanced.wav') # PESQ 要求采样率一致，且 16k 用 'wb'，8k 用 'nb' p = pesq(16000, ref, enh, 'wb') s = stoi(ref, enh, 16000, extended=False) print(f'PESQ={p:.3f} STOI={s:.3f}')如果 PESQ 比训练集上低很多，检查有没有做重采样对齐。有些 zip 包里的评估脚本默认参考音频和输出音频长度完全一致，但你的项目里可能因为 iSTFT 长度比输入短一点点，导致评估出现偏差。此时要用librosa.util.fix_length把输出补到相同长度。
去混响场景里还有一个调试技巧：把增强后的音频和参考音频的频谱图画出来对比，如果高频区域过度衰减，说明掩码过于激进；如果低频有连续竖条纹，说明混响尾音没干净。RT60 越长的房间，模型越容易把早期反射误当成语音而保留，这会因为后续去混响过重产生“塑料感”。遇到这种情况，把训练数据中 RT60 大于 1.0s 的比例调高，而不只是增加数量。
4.4 常见坑：相位、因果性与实时性
这里三个坑几乎每个项目都会遇到。相位问题：幅度掩码法沿用带噪相位，在低 SNR 下会引入单频噪声，所以代码里如果用复数掩码，要检查模型输出的最后一层是否同时预测实部和虚部，并分别用 tanh 或线性激活。因果性问题：训练时用了未来帧的模型，在实时通话中不可用；把注意力矩阵加一个上三角 mask 让每个时间步只能看到当前及以前，就能转成因果版本，但 PESQ 会下降 0.1~0.2 左右。实时性问题：除了模型本身，STFT 的帧移决定了处理延迟，8ms 帧移在低配 CPU 上可能跑不动；想降延迟就用 256 的 n_fft，虽然频域分辨率低一些，但延迟减半。
5. 进阶技巧：自监督预训练与掩码平滑
5.1 用自监督预训练提升低资源噪声表现
在噪声种类多、标注数据少的情况下，从头训练增强模型很容易过拟合到噪声特征。常见做法是用 WavLM 或类似自监督语音模型作为特征提取器，把中间层特征拼到幅度谱一起输入后端网络。处理如下：预训练模型参数冻结，只训练后端增强器；先在主数据上训练到收敛，再解冻预训练模型最后两层做微调。微调时要调低学习率到原本的十分之一，否则会破坏预训练特征的一致性，反而导致效果下降。如果 zip 包里的模型结构没有接入预训练编码器的接口，可以把预训练特征单独离线抽好存成 numpy 文件，训练时直接读入，省去推理阶段把两个模型串在一起的内存开销。
5.2 对掩码做时间轴平滑，消除音量抖动
很多增强模型输出的掩码在相邻帧之间跳跃很大，反映到听感就是音量忽大忽小，尤其 8ms 帧移下更明显。一个低成本且有效的技巧是对掩码在时间维做指数滑动平均，而不要对波形直接做平滑。
def smooth_mask(mask, alpha=0.6): # mask: [F, T] numpy 数组 smoothed = np.zeros_like(mask) for t in range(mask.shape[1]): if t == 0: smoothed[:, t] = mask[:, t] else: smoothed[:, t] = alpha * mask[:, t] + (1 - alpha) * smoothed[:, t - 1] return smoothedalpha控制平滑强度，0.6 表示当前帧权重 60%，前向积累 40%。语音起始段也就是瞬态部分，平滑会让它变钝，所以可以先做语音活动检测，只在非语音段启用平滑；或者在掩码变化幅度超过 0.2 时不平滑。这个技巧不增加推理耗时，也不需要重训模型，可以直接套在已有 zip 项目的推理脚本里。对在线去混响和回声场景中经常出现的残响抖动，这种平滑也能让尾音衰减更自然。调试时建议用不同 alpha 值跑 10 条音频，对比 PESQ 和主观听感，选择在音量稳定度与瞬态清晰度之间平衡的那个值。
本文还有配套的精品资源，点击获取
