语音降噪这行，算算也有六十多年历史了。从最早的模拟滤波器、维纳滤波，到后来的谱减法、子空间法，再到今天几乎被深度学习全面接管，这中间的转变不是简单的技术升级，而是整个治学思路的一次断代：以前我们在努力"理解"噪声，现在我们在努力"喂饱"模型。这篇下篇，就来聊聊深度学习究竟做了什么，让一个存在了半个多世纪的难题突然变得不那么难，以及接下来这个领域会往哪里去。
如果你从事语音相关开发，或者正在为通话、录音、会议里的背景噪声头疼，这篇应该能帮你理清深度学习降噪的技术脉络，以及真正落地时那些跑分看不出来的坑。
1. 范式断代：深度学习不是传统方法的高级补丁
六十年前，做语音降噪的人拿到一段带噪语音，第一反应是：我需要一个模型来描述噪声。回顾来看，这恰恰是所有传统方法的枷锁。你一旦决定用模型建模，就注定被模型假设框死。
1.1 传统时代的三大支柱与共同假设
传统语音增强的三根支柱分别是：谱减法、维纳滤波和子空间方法。谱减法的思路很直白——估计出噪声的频谱幅度，从带噪语音里减掉。维纳滤波稍微讲究一点，假设语音和噪声都是平稳随机过程，通过最小均方误差准则设计出一个线性滤波器。子空间法更偏数学一些，把带噪信号分解到信号子空间和噪声子空间，然后只保留信号部分。
这三条路表面不同，骨子里共享同一套假设：语音和噪声是平稳的、短时谱是统计独立的、且是用线性操作可以分离的。真实环境哪会配合这种假设？咖啡馆里的背景人声是非平稳的，马路上货车经过的噪声是突发性的，空调外机的嗡鸣和语音在频谱上是重叠的，根本不是一条直线切得开的。
我当年做本科毕设，用谱减法去消办公室空调噪声，信噪比大于20dB的场景效果还不错，一换到开窗的马路边就直接歇菜。原因很简单：谱减法假设噪声平稳，可马路噪声随时在变，估计出来的噪声谱永远是滞后的，减完反而引入一堆"音乐噪声"——那种流水一样的残留伪影，比原始噪声还难听。这几乎是传统方法的宿命：你越是想精确建模，越暴露出模型的局限。
1.2 传统方法的本质上限：线性与他假设
传统方法还有一重天花板：线性。维纳滤波推导出的传递函数是线性的，子空间投影也是线性的。但语音和背景噪声在感知上的可分离性，很大程度上依赖人类的听觉系统做非线性处理。鸡尾酒会效应就是个典型例子：人耳能在多人交谈中锁定目标说话人，这种能力显然是基于非线性信息整合的，线性系统很难模拟。
有人试图用MMSE-STSA（最小均方误差-短时谱幅度估计）之类的扩展来逼近非线性，但本质上还是用统计模型去"猜"一个参数化的后验分布，猜得再准也受限于高斯、拉普拉斯这类先验假设。换句话说，传统方法在工程上做到极致，效果的天花板也只在"噪声比较规矩"的情况下才够看。
1.3 数据驱动革命：从"建模噪声"到"学习映射"
深度学习做的事情，本质上是一种釜底抽薪：我不再尝试建模噪声的物理过程，而是直接让神经网络去学习从带噪语音到干净语音的映射。你需要提供海量的"带噪-干净"配对数据，网络自己去发现哪些特征组合最有区分度。高频细节被噪声遮住了？没关系，只要训练数据里存在足够多的同种模式，网络可以用统计规律把它们"脑补"回来。
这一反转让语音降噪从"信号处理专家手工设计特征"的时代，进入"数据工程师喂数据、调损失函数"的时代。我们不再钻研噪声的统计特性，而是研究怎么让模型见过足够多的噪声类型、足够多的信噪比级别。2014年前后，DNN-HMM框架在语音识别上已经证明了深度模型的建模能力，随后被迅速移植到语音增强里。我印象里最早一批效果惊艳的深度语音增强系统，不是靠复杂的网络结构，而是靠把几百小时带噪数据灌进一个三层DNN，效果就已经秒杀当年调参调到头秃的传统方法。
很多人误以为深度学习降噪只是"煲机调参"，其实它改变的是整个研究范式：问题从"如何设计更好的滤波器"变成了"如何组织更好的训练信号与学习目标"。而后面几年的技术演进，基本就是围绕这件事展开的。
2. 让神经网络学会"降噪"的三个关键配方
深度降噪系统真正跑起来的骨架，无非三件事：输入用什么表示、输出预测什么、用什么损失函数来拉近预测值和目标值。这三件事每一项看起来都很基础，但每一个坑都足够让人熬几个通宵。
2.1 从频谱映射到掩码回归：为什么预测"软开关"更优
早期深度语音增强，最常见的做法是让网络直接预测干净语音的幅度谱，或者等效地做"spectral mapping"：输入带噪幅度谱，输出干净幅度谱。思路直白，训练也简单，但效果有个明显瓶颈——网络必须"记住"每一帧语音长什么样，稍有偏差，重建出的语音就发糊。
后续研究者很快转向预测掩码（mask），最著名的就是理想比率掩码（IRM）和理想二值掩码（IBM）。掩码的本质是一个"软开关"：在某个时频点，如果语音能量占比高，就把这个点保留下来；如果噪声能量占主导，就把它压低。比例掩码让网络不必精确重建谱形，只需要判断"这里该留多少"，难度瞬间降了一截。
再往后是复数域掩码cIRM：既然语音和噪声在复数谱上会相互干涉，那干脆让网络同时预测幅度增益和相位修正，在复数域做掩蔽。这个设计很聪明，因为相位误差在传统增强里一直被刻意回避，但你只要做过一次听力测试就会发现，相位信息对听感的影响远比你想象的大。cIRM等于把相位问题也扔给网络自己去解决，训练数据足够，它确实能学出比"只改幅度、不动相位"更好的结果。
2.2 从MSE到SI-SNR：训练目标与听感的错位
训练目标的选择，是深度降噪里最容易被低估的一环。早期论文几乎清一色用MSE（均方误差），衡量预测谱和干净谱数值上的距离。问题在于，MSE的数学最优解，不等于听觉最优解。数值上误差最小，听上去可能又糊又闷；某一帧频谱形状偏差一点点，人耳可能完全无感；而某些瞬态伪影在谱上占比很小，耳膜却能敏锐捕捉到"发炸"的瞬间。
后来大家逐渐转向更贴近听感的指标，比如SI-SNR（尺度不变信噪比）。SI-SNR有一个很优雅的性质：它对信号的整体幅度缩放不敏感。换句话说，网络如果把整个波形放大缩小了一倍，SI-SNR不会惩罚它，但MSE会。这让训练目标更关注信号"形状"对不对，而不是绝对值对不对。
做双目分离和语音增强这些年，我个人的体会是：没有哪个损失函数尽善尽美。SI-SNR效果好，但和主观听感仍然存在偏差；PESQ优化类方法在评测指标上好看，真实听感又未必。很多商用系统最终会混合多个损失函数，比如MSE+SI-SNR+感知度量联合训练，目的就是让网络在多个维度上都不偏科。
2.3 仿真数据：标注问题的妥协与补救
深度降噪有个其他深度学习任务不太会遇到的问题：干净参考从哪来？你不可能随便拿一段真实录音加上噪声，就声称"我知道原本的干净语音长什么样"，尤其是在户外、多人语音、混响叠加的场景。绝大多数公开数据集，比如微软DNS Challenge的数据，都是通过把干净语音和噪声按不同信噪比混合、再叠加模拟房间冲激响应合成的。
仿真数据的优点是可控、成本低、可以无限扩张；缺点也很致命——域偏差。用合成数据训练出来的模型，在真实麦克风录音上容易水土不服。我认识不少团队在DNS榜单上刷到顶尖分数，换到自己采集的对话音频上，信噪比下滑立竿见影。近几年大家都在补补救措施：一是用真实的远场录音做半监督训练，二是利用无噪语音估计网络（如自监督的CleanUNet思路）解耦噪声，三是训练时故意加入多种麦克风特性和随机化混响参数，让模型面对"看得见的分布偏移"时不至于崩掉。
这里有一条很实际的经验：做产品级的降噪，千万不要只在仿真数据上调模型。最少也要采集300到500段真实场景语音，手动打标，哪怕只做测试集都行。否则你连自己模型的真实水平都不知道，上线之后只会被用户教做数据。
3. 商用落地时的三大障碍：泛化、因果与功耗
实验室里的深度降噪，大家比拼的是PESQ涨了多少、STOI提升多少。但把系统搬进手机、耳机、会议终端时，真正的硬仗才刚刚开始。泛化、实时性和功耗这三关，每一关都能刷掉一大批看起来很美的方案。
3.1 泛化悖论：跑分漂亮，戴上翻车
深度降噪模型的泛化问题，远比图像分类里的过拟合更微妙。训练数据里的噪声,往往是几十类标准噪声库的组合；真实世界里，噪声是一个连续、无限、不停变化的分布。模型对没见过的噪声类型，可能表现得很不稳定，甚至出现"恐惧噪音"——对某种罕见噪声过度抑制，把目标语音一并消掉。
最典型的例子是键盘敲击声。这种瞬态噪声在标准噪声库里出现频率不高，但用户戴着耳机一键入会，对方劈里啪啦敲键盘，很多降噪模型直接把整段语音挖掉一块，听感就像说话人得了失语症。解决思路主要有两种：一是训练时加大瞬态噪声的占比，这是数据层面的补强；二是用更语义化的特征编码，让模型学会区分"语音"和"非语音"的本质差异，而不是死记噪声ID。近年流行的自监督语音表征（如wav2vec 2.0风格预训练特征）被引入降噪后，泛化能力有明显提升，原因就是预训练特征里已经包含了充足的语言结构先验，模型不会轻易把一个含语音的片段当成噪声消掉。
3.2 因果约束：流式降噪里的信息泄漏与时延控制
离线处理大模型可以看完整句话再做增强，效果当然好；但通话场景要求低时延，模型必须一条样本一条样本地流式处理。问题随之而来：很多经典结构，比如双向LSTM、非因果卷积、时间维度的self-attention，都会用到未来帧的信息。你处理第t帧时，已经偷看了t+几帧的内容，这在实时系统里根本没法实现。
因果性是流式降噪的第一道红线。一旦强制因果，模型的可利用信息瞬间少了一半，降噪效果通常要下降一截。我最开始做流式降噪时，直接把双向LSTM换成单向，PESQ掉了接近0.15，这个差距在盲测里是能明显听出来的。后来的工程化研究主要就是在"用多少未来帧"和"延迟容忍度"之间找平衡。比如，允许60到100毫秒的算法延迟，就可以做一个受限的双向卷积感受野，既保留一定的未来上下文，又不影响实时性；再比如用状态复用的可变RNN结构，把历史信息压缩在隐状态里，成本极低。
另外一个容易被忽略的细节是帧移与窗口长度。小帧移有利于时域分辨率，但计算量线性上升；大帧移省算力，又会导致掩码变化太急，出现颤音。实测下来16kHz采样率时，20ms窗长、10ms帧移，配合因果卷积，是性价比相当稳的配置。
3.3 把模型塞进耳机：蒸馏、量化和TCN的取舍
手机端算力相对宽裕，但真无线耳机（TWS）上的DSP，内存往往只有几百KB，算力也就每秒几百万到几千万次乘加运算，还要兼顾功耗。主流方案基本绕不开三件事：结构选型、知识蒸馏、定点量化。
结构选型方面，时序卷积网络（TCN）几乎是目前小模型降噪的事实标准。它的感受野可以靠膨胀系数线性扩展，参数共享效率高，非常适合在嵌入式平台上高效推理。与之相比，Transformer在小参数规模下优势不明显，而且KV缓存对内存极不友好。RNN虽然理论参数少，但在低精度定点推理时容易累积误差导致不稳定。我见过不少团队一开始用LSTM，后来为了嵌入式部署全部切成时序卷积。
知识蒸馏的做法比较直白：用一个高精度大模型当老师，让小模型去拟合老师的隐藏层输出或软标签，往往比直接用带噪数据训练小模型效果更好。蒸馏之后再做8bit或16bit定点量化，在DSP上配合SIMD指令集一跑，速度能再快50%到100%。这里有个很细节的经验：量化对象的统计范围一定要重新校准，用训练集里的一批真实样本统计激活值的min/max，不能拍脑袋定范围，否则某个异常帧的激增值会把整个量化精度带崩。
4. 下一个十年：生成式降噪、自监督与个性化听觉
聊完现状，再看看未来。语音降噪这个领域，过去五年的主要驱动力是"更聪明的判别模型"；接下来，我认为真正值得关注的是三个方向：生成式模型、自监督表征、以及以人为中心的个性化增强。
4.1 扩散模型做降噪：从判别到生成的思维反转
判别式深度降噪的思路是"给定带噪输入，输出一个尽量接近干净语音的估计"。生成式模型走的是另一条路：不直接预测目标，而是建模干净语音的分布，然后从带噪条件出发，在分布里采样出最合理的干净语音。扩散模型（diffusion model）天然就是这个思路的完美载体：前向加噪过程把数据破坏，反向去噪过程则一步步“修复”数据。语音增强本质就是一个条件反向扩散，条件就是带噪语音。
这个思路的好处很明显：对于极低信噪比、或者大段完全被遮盖的语音，判别模型会试图"猜"一个均值解，导致声音模糊；扩散模型会采样出细节丰富、自然度极高的结果。我在公开Demo里听过基于Diffusion的增强效果，最深刻的印象不是"噪声没了"，而是"语音太自然了，像是原声录音而不是被处理过的"。短板也明确：计算量巨大，一个推理步要跑几十次迭代网络，直接流式几乎不可能。目前产业界的折中是蒸馏成少步采样，或者用扩散模型做离线增强、再蒸馏成流式学生模型。短期内它可能不会全面替换TCN小模型，但作为复杂场景的高质量后处理，真的很有前景。
4.2 自监督语音模型：当"通用听觉表征"成为标配
语音领域有一个被验证的趋势：先用海量无标注语音做自监督预训练，再用少量标注数据微调下游任务。WavLM、HuBERT这类模型在语音识别和说话人任务上已经证明了通用表征的威力。最近两三年，这类表征被大量引入语音增强，解决了一个老难题：在低信噪比或未见噪声下，如何让模型知道"这一段语音还是语音"。
判别式降噪模型的本质弱点，是在噪声类型切换时容易丢失语音先验。而预训练语音模型内部保存着丰富的音素、韵律、说话人信息，等于给降噪网络植入了一颗"语音常识大脑"。比如只见过标准英文语音训练的增强模型，碰到带口音中文、小孩说话或唱歌时，依然能较好地保留语音结构，这不是因为它见过这些数据，而是因为自监督表征已经学会了"语言声音长什么样"。
不过，把千亿参数的语音大模型直接接到降噪流程里，现实算力不允许。更可能的方向是：在云端或高性能边缘设备上运行自监督编码器，对语音做高质量表征；再让本地小模型基于这些表征进行轻量增强。这种"云端大脑+本地手脚"的架构，估计会成为高端会议设备和助听器产品的标配。
4.3 从"降噪"到"听觉增强"：个性化与场景自适应
降噪这个词，本身就隐含了一个假设：所有噪声都要消掉。但真实听觉需求远没有这么简单。我个人非常看好"个性化听觉增强"这个概念：系统不只消灭噪声，还应该根据当前场景和用户听觉需求，主动调整听觉信息。助听器领域早就在做这类事——听力损失患者不是简单地"听不清"，而是对不同频段的感知灵敏度不同，他们需要的是频响曲线重塑，而不是一刀切的降噪。
即使对于正常听力的用户，不同场景的需求也完全不同：会议通话时希望滤除一切背景杂音，只听人声；户外散步时希望保留环境音提示（汽车喇叭、门铃），同时抑制风声；音乐欣赏时则追求保留瞬态和空间感，过度降噪会毁掉一切氛围。这就是场景自适应的问题。未来的增强系统也许可以借助端侧传感器（加速度计、陀螺仪、环境光）和用户偏好学习，动态切换增强策略。值得一提的是，个性化数据是相对稀缺但极具价值的资源。如果一个降噪系统能学习用户自己的说话声纹和典型使用环境，它就能在复杂场景下做出远超通用模型的决策。这大概也是"智能听觉"赛道接下来的重点竞争方向。
4.4 一个值得留意的新变量：语音基础模型与上下文感知
今年把语音理解大模型接入降噪链路，是我认为很有意思的一个实验方向。过去降噪系统只看声学信号，对语义内容一无所知。一旦系统能识别"这是在说话、是在唱歌，还是仅仅有水流声"，对噪声的管理就不再是简单的信号处理，而是语义级别的听觉决策。
打个比方，老式降噪像戴了一副固定墨镜，把所有光都调暗；未来的上下文感知增强更像一副智能眼镜，看见太阳就增透，看见强光就变暗，甚至在你需要看路牌时自动增强某个方向的光。基于语音基础模型的语义理解能力，系统可以识别出远处传来的警笛声，选择不清除掉它，甚至主动提醒用户；也可以判断出当前正在播放的是音乐而非语音，从而调整增强策略，不做破坏性处理。这种"语义级听觉管理"一旦成熟，降噪的概念可能被彻底重构——它不再是消除噪声的过滤器，而是管理听觉注意力的智能助手。
从六十年前的模拟滤波器，到今天的扩散模型和嵌入设备端的TCN小网，语音降噪选择的路径变过很多次，但底层目标一直没变：让人在复杂声学环境中，想听的声音变得清晰，不想听的声音变得安静。深度学习革命真正解决的不只是效果问题，它让这个领域从一个"物理建模的困局"，变成了一个"数据和算力驱动的持续演进"——前者有终点，后者没有。
聊到这儿，我再分享一个自己反复踩过坑之后形成的判断：做深度学习语音降噪，千万不要把注意力全放在调网络结构上。数据分布、损失函数和部署约束，这三件事才是决定产品上限的命门。结构永远是解决"过拟合某个数据集"的应急手段，而数据组织方式上的功夫，才真正决定模型换一个场景还能不能打。很多团队在实验室里刷到顶级指标，一上线就被用户吐槽"为什么我这边全是电流声"，问题几乎都出在训练数据分布与真实场景的鸿沟上，而不是模型不够深。
最后给想入行或转方向的朋友一个实在的建议：多听、多测、多积累真实场景的坏case。建立一套属于自己的"真实场景回归测试集"，每个月往里加新的录音片段，长期盯着看模型的失败案例，比追任何新网络结构都更能提高你的系统落地能力。深度学习的迭代很快，但找对方向比追上热点重要得多。
