简介：基于MATLAB的音乐与人声分离算法实现资源包，面向音频信号处理学习者和MATLAB开发者，系统展示盲源分离技术将伴奏与演唱声分离的完整流程。压缩包共17个文件，总大小19.58MB，核心为6个.m可运行源码脚本，涵盖数据预处理、梅尔频率倒谱与短时傅里叶变换、独立成分分析与非负矩阵分解、迭代优化和结果评估等关键环节；4个MP3测试音频便于直接验证效果，2个PDF报告阐释原理与实验结果，另有3个.zbak备份文件和说明文档辅助复现。目前已有115人学习下载，适合课程设计、毕业设计或算法对比研究。整个包体按源码、文档、音频分层组织，便于检索。内含演示版图形界面与工程脚本，结合测试音频可快速调试，报告则梳理技术路线与性能指标，帮助读者从原理到实现全面掌握，并进一步改进复杂场景下的分离效果。
1. 音乐与人声分离：MATLAB 里能落地的算法，不是“一键分离”的玄学
做音频课设、毕设或者单纯想给 K 歌伴奏提取干净人声的人，大概率都遇到过同一个尴尬：网上搜“人声分离”，出来的全是云端网页工具和闭源软件，传上去一首歌，等半分钟，下载回来两个文件。效果是不错，可一旦你想把分离流程嵌进自己的 MATLAB 工程里，比如批量处理、实时参数调优、和自己训练的前后端模型对接，就完全抓瞎了——黑匣子不给你任何中间变量，更别提算法本身的参数。这个资源给的就是一条能在 MATLAB 里完整跑通的音乐与人声分离链路：读音频、STFT 变换、RPCA 低秩稀疏分解、软掩码重建，每一步都看得见、改得动。适合正在做语音/音频处理相关课设、毕设，或者想在 MATLAB 里自己控制分离效果的工程师。它解决的核心问题不是“分离得多干净”，而是“让你知道分离是怎么发生的，并且能自己调”。
2. 分离原理与选型：为什么是 RPCA 而不是深度网络
2.1 人声和伴奏在频谱上到底差在哪
很多人以为人声分离是靠“识别出人的声音”，实际不是。传统信号处理方法根本不“认识”人声，它利用的是统计特性差异。拿一段混合音乐做 STFT（短时傅里叶变换），得到的是时频矩阵。在这个矩阵里，伴奏部分——尤其是和弦、持续低音、鼓点基底——在不同时间点上有很强的重复性和结构性，反映在矩阵上就是行与行之间高度相关，矩阵的秩低。人声则不一样，语音的基频和共振峰随时间快速变化，频谱表现出离散的、突发的峰值，在矩阵里呈现为稀疏的、孤立的大幅值元素。
这就是经典的低秩 + 稀疏分解模型：混合矩阵 ≈ 低秩矩阵(伴奏) + 稀疏矩阵(人声) + 噪声。RPCA（鲁棒主成分分析）恰好就是干这个的——把矩阵拆成低秩部分和稀疏部分。伴奏是低秩，人声是稀疏，这个假设在大多数流行音乐里成立，尤其是人声居中、乐器分布较宽的情况。
提示：这个假设不是万能的。无伴奏纯人声、纯乐器演奏，或者人声被大量混响淹没时，低秩稀疏分解会失效，分离结果会明显变差。这是方法本身的边界，不是代码 bug。
2.2 RPCA、NMF、中声道/侧声道分离：三条路线的对比
在 MATLAB 里做人声分离，主流路线有三种。NMF（非负矩阵分解）的思路是把频谱矩阵分解成若干基底和激活系数的乘积，然后靠聚类把基底分成“人声组”和“伴奏组”。好处是更灵活，能处理非平稳伴奏，但坏处是基底的组数 K 要人为设定，聚类结果不稳定，同一首歌换一个 K 值分离效果天差地别。而且 NMF 是迭代算法，在 MATLAB 里跑长音频时，性能是个大问题。
中声道/侧声道分离的实现思路最朴素：人声在立体声混音里通常被放在正中间，伴奏的吉他、弦乐、打击乐则分布在左右两侧。于是把左右声道做加法和减法，相加的部分（中声道）就是人声主导，相减的部分（侧声道）就是伴奏。这个方案计算量极小，几行代码就能搞定，但致命的缺陷是：一旦伴奏里也有居中元素（比如贝斯、底鼓、主音吉他），它们会跟着人声一起被留在中声道，分离出来的“人声”里全是乐器声。
RPCA 是三条路线里平衡最好的。它没有 NMF 的聚类不稳定问题，也不需要预设组件数；相比中声道/侧声道分离，它不是靠声道位置，而是靠频谱结构做区分，能处理单声道文件。而且 MATLAB 内置的svd函数对大矩阵分解效率很高，实现 RPCA 的迭代核心代码不超过 30 行。
2.3 为什么 MATLAB 实现首选 RPCA
MATLAB 做 RPCA 的优势不是算法本身，而是生态。audioread一行读音频，stft一行做变换（旧版本用spectrogram），svd做奇异值分解，istft做逆变换，整个链路不需要任何第三方依赖。相比之下，Python 里做同样的事需要librosa+numpy+scipy，跨库数据格式转换本身就是个不小的坑。MATLAB 里 RPCA 的调参维度也很集中，核心就一个正则化参数 λ，控制低秩和稀疏之间的权衡，下面会详细展开。
3. 从 WAV 到频谱矩阵：预处理阶段的所有关键参数
3.1 音频读取与基础参数设定
拿到一份音频资源，第一步永远是读文件和看参数。MATLAB 的audioread函数能直接读 WAV、MP3、FLAC、M4A 等常见格式，返回值是[data, fs]，data是 N×1（单声道）或 N×2（双声道）的矩阵，fs是采样率。这里有一个常见的翻车点：很多教程默认音频是单声道，但实际下载的音乐文件绝大多数是双声道。直接用双声道矩阵去做 STFT，得到的时频矩阵形状会和你预期的完全不一样，后续做 SVD 时也会出问题。
% 读取音频文件 [data, fs] = audioread('mixture.wav'); % 统一转为单声道：取左右声道均值 if size(data, 2) == 2 mono = mean(data, 2); else mono = data; end % 统一采样率：统一到 44100 Hz，方便后续参数调整 if fs ~= 44100 mono = resample(mono, 44100, fs); fs = 44100; end % 截取前 30 秒用于算法验证（跑通后再处理全曲） mono = mono(1 : min(30 * fs, length(mono)));逻辑说明：先把多声道混成单声道，保证后续矩阵维度可控；再用resample统一采样率，避免不同来源的音频在 STFT 参数设计上出现不一致；最后截取短片段，是因为 RPCA 里要反复做 SVD，全曲 4 分钟的音频直接跑会非常慢，先拿 30 秒验证参数再处理全曲是工程上更理性的习惯。
参数说明：mean(data, 2)是对每一行（每个采样点）的左右声道取平均，这是最简单的下混方式。工程上也有用0.5 * (data(:,1) + data(:,2))的，效果一样。resample的第二个参数是目标采样率，44100 是 CD 标准，一般流行音乐都是这个值。注意：截取 30 秒不是偷懒，而是 RPCA 本身的计算复杂度是O(m*n*min(m,n))，矩阵越大迭代越慢，先短后长是调试习惯。
3.2 分帧、加窗与 STFT 的窗口参数
人声分离的质量 70% 由 STFT 参数决定。帧长太短，频率分辨率不够，人声的高频谐波会糊成一团；帧长太长，时间分辨率下降，人声的辅音部分（如“s”“t”这类短促音）会被抹平。工程上最常用的组合是：帧长 4096 个采样点（约 93ms @ 44100Hz）、帧移 1024（约 23ms）、FFT 点数 4096、窗函数选汉宁窗。
% STFT 参数设置 frame_length = 4096; % 帧长：频率分辨率与时间分辨率的折中 hop_length = 1024; % 帧移：相邻帧的重叠率，影响时频平滑度 nfft = 4096; % FFT 点数 win = hann(frame_length, 'periodic'); % 周期性汉宁窗 % 短时傅里叶变换 S = stft(mono, fs, 'Window', win, 'OverlapLength', frame_length - hop_length, 'FFTLength', nfft); % 取幅度谱 X = abs(S);逻辑说明：stft的输出是复数矩阵，行对应频率 bin，列对应时间帧。后续 RPCA 分解的是幅度谱X，相位信息需要保留下来供重建时使用。不要对X做log压缩再做分解——RPCA 的稀疏性假设基于线性幅度的信号模型，取对数会破坏低秩稀疏结构，这是常见的理解偏差。
参数说明：OverlapLength = frame_length - hop_length，即 4096 - 1024 = 3072，表示相邻两帧有 3072 个采样点的重叠区域，重叠率 75%。这个重叠率是经验值的甜点区：更低的话，逆变换时会出现明显的帧间不连续；更高的话，计算量变大但分离效果没有实质性提升。nfft = 4096对应的频率分辨率为fs / nfft ≈ 10.77 Hz，足够区分语音的基频和低次谐波。
3.3 幅度谱矩阵的维度检查与预处理
做完 STFT 后，务必检查矩阵维度再进 RPCA。size(X)应该是2049 × N，其中 2049 = nfft/2 + 1，对应 0 到 Nyquist 频率的谱线数，N 是总帧数。如果发现矩阵形状不对，优先检查mono是不是列向量、采样率是否真的统一了。
另外有一个影响分离质量的细节：低频段和高频段的能量相差悬殊，直接从原始幅度谱做 RPCA，低频（20-200Hz）的大能量会主导奇异值分解，导致人声高频部分被压进低秩矩阵里。常见的做法是做一个简单的频谱均衡，但不要用复杂的滤波器组——会给逆变换引入相位失真。我一般会在幅度谱上按频率做一次轻微的白化：
% 按频率做能量归一化，提升高频分离效果 freq_weights = 1 ./ (1 + (0 : size(X,1)-1)' * 0.01); % 线性衰减权重 Xw = X .* freq_weights;这段代码的作用是给高频分量一个略高的权重，避免 RPCA 把能量重心全放在低频伴奏上。权重系数 0.01 是经验值：太大会让噪声被人声稀疏矩阵吸收，太小等于没做。
4. 核心分离实现：RPCA 低秩稀疏分解与软掩码重建
4.1 RPCA 的数学形式与 MATLAB 迭代实现
RPCA 要解决的问题是：已知矩阵Xw（幅度谱），把它分解成L（低秩伴奏）和E（稀疏人声），并且让L + E尽可能接近Xw。最优化的目标函数是minimize ||L||_* + λ||E||_1, subject to Xw = L + E，其中||L||_*是核范数（奇异值之和），||E||_1是 L1 范数，λ 是正则化参数。
MATLAB 里实现 RPCA 最稳定的是非精确增广拉格朗日乘子法（inexact ALM），收敛快，代码短。完整实现如下：
function [L, E] = rpca_alm(X, lambda, tol, max_iter) % X: 输入幅度谱矩阵 % lambda: 稀疏度正则化参数 % tol: 迭代停止阈值 % max_iter: 最大迭代次数 [m, n] = size(X); Y = X / max(norm(X, 2), norm(X(:), inf) / lambda); % 拉格朗日乘子初始化 norm_two = norm(X, 2); % 谱范数，用于归一化 norm_inf = norm(X(:), inf) / lambda; % 无穷范数 dual_norm = max(norm_two, norm_inf); Y = X / dual_norm; L = zeros(m, n); E = zeros(m, n); mu = 1.25 / norm_two; % 惩罚参数 rho = 1.5; % 迭代步长增长因子 sv = 10; % 初始奇异值数量 for k = 1 : max_iter % 更新 L：奇异值阈值收缩 [U, S, V] = svd(X - E + Y / mu, 'econ'); diagS = diag(S); svp = length(find(diagS > 1 / mu)); % 保留的奇异值数量 if svp < sv sv = min(svp + 1, 10); % 动态调整 SVD 计算规模 else sv = min(svp + round(0.05 * m), 10); end diagS = max(diagS - 1 / mu, 0); % 软阈值收缩 L = U * diag(diagS) * V'; % 更新 E：L1 范数软阈值收缩 E = max(X - L + Y / mu - lambda / mu, 0) + min(X - L + Y / mu + lambda / mu, 0); % 更新拉格朗日乘子 Y = Y + mu * (X - L - E); mu = min(mu * rho, 1e7); % 收敛判断 if norm(X - L - E, 'fro') / norm(X, 'fro') < tol break; end end end逻辑说明：每一次迭代分三步——先固定 E 更新 L，用奇异值软阈值收缩去掉小于阈值的奇异值，这一步压低了伴奏矩阵的秩；再固定 L 更新 E，对残差做 L1 软阈值收缩，把幅度大于阈值的稀疏分量保留下来，这就是人声部分；最后更新拉格朗日乘子 Y，推动 L+E 更快逼近 X。整个循环里，mu从 1.25 起步，每轮乘以 1.5，逐步收紧分解残差。
参数说明：lambda是全局最重要的参数，下一节单独讲。tol一般设1e-7，太小会增加迭代轮数，太大则在 30 秒音频（约 1300 帧）上会出现明显残差。sv不是固定值，它控制每次svd只计算前若干个主要奇异值，大幅降低计算量。在 2049×1300 的矩阵上，完整 SVD 耗时约 0.3 秒，用截断 SVD 能压到 0.05 秒。
4.2 完整分离流程：从 STFT 到音频重建
现在把前面的步骤串成完整的分离流程。核心逻辑是：分解得到低秩矩阵 L 和稀疏矩阵 E 之后，不能直接把 L 当伴奏、E 当人声拿去重建——这样会有严重的“频率泄露”问题。正确做法是把 L 和 E 转成时频掩码（mask），跟原始混合谱做逐元素相乘再重建。这样分离出来的人声几乎不损失原始信号的频率细节。
% 调用 RPCA 分解 lambda = 1 / sqrt(max(size(Xw))); % 经验默认值 [L, E] = rpca_alm(Xw, lambda, 1e-7, 100); % 生成软掩码（维纳滤波风格） mask_vocal = (abs(E) .^ 2) ./ (abs(L) .^ 2 + abs(E) .^ 2 + eps); mask_music = 1 - mask_vocal; % 原始复数谱 S_full = stft(mono, fs, 'Window', win, 'OverlapLength', frame_length - hop_length, 'FFTLength', nfft); % 掩码应用：必须用原始复数谱，而不是幅度谱 S_vocal = S_full .* mask_vocal; S_music = S_full .* mask_music; % 逆 STFT 重建音频 vocal = istft(S_vocal, fs, 'Window', win, 'OverlapLength', frame_length - hop_length, 'FFTLength', nfft); music = istft(S_music, fs, 'Window', win, 'OverlapLength', frame_length - hop_length, 'FFTLength', nfft); % 写出文件 audiowrite('vocal.wav', vocal / max(abs(vocal)), fs); audiowrite('music.wav', music / max(abs(music)), fs);逻辑说明：这里的核心技巧是软掩码。对每个时频点，计算人声能量占比|E|^2 / (|L|^2 + |E|^2)，得到一个 0 到 1 之间的权重值。这个权重乘到原始复数谱上，保留了被分离部分的大部分细节，同时不会像硬掩码那样产生“音乐盒”声。之所以用平方能量而不是直接幅值比，是因为能量比能更平滑地压低残留伴奏的旁瓣泄漏。
参数说明：eps是防止除零的极小值，一般取1e-12数量级。mask_vocal求和后如果整体偏小（比如小于 0.15），说明 λ 设得过大，人声被压进低秩部分了，需要调参。写完wav文件前的归一化vocal / max(abs(vocal))是为了防止峰值超过 1 导致audiowrite自动压缩动态范围。
4.3 λ 参数怎么调：从理论值到实际操作
λ 是 RPCA 里唯一真正需要人工干预的参数。理论值1 / sqrt(max(m, n))是从凸优化最优性条件推导出来的，m 和 n 是矩阵的行数和列数。但实际效果上，这个理论值往往把人声压得太狠——因为它假定噪声是高斯分布，而实际音乐伴奏的频谱结构比高斯噪声“有组织”得多，低秩假设更容易满足，所以需要更大的 λ 来增强稀疏约束。
经验值区间是lambda_base = 1 / sqrt(max(size(Xw)))，实际调用时在0.5 * lambda_base到2 * lambda_base之间微调。λ 越小，低秩矩阵的惩罚越轻，伴奏里会残留更多人声；λ 越大，稀疏矩阵的惩罚越轻，人声里会混入更多伴奏。判断标准不是“哪个听起来干净”，而是看分离结果的频谱图：人声轨的高频谐波是否连续，伴奏轨的低频鼓点是否完整。没有标准答案，每首歌的最优 λ 都不一样。我一般写个循环，对同一个 10 秒片段跑 5 个不同 λ，静下来听一遍分离结果再定全曲参数——这是最笨也最有效的做法。
4.4 硬掩码 vs 软掩码：音质差异的根源
网上很多实现直接做硬掩码：mask = abs(E) > abs(L) ? 1 : 0。这个写法的问题在于，每一个时频点只能属于人声或者伴奏，但实际混合信号里，同一个频率点上完全可能既有吉他的泛音也有人声的基频。硬掩码会直接砍掉一方，导致分离后的音频出现明显的“水声”或“金属声”。
软掩码也不是万能解药。它的问题是会让分离结果偏“软”，人声的瞬态细节（比如齿音、气声）会被平滑掉。实测下来，维纳滤波风格的掩码——就是上面代码里能量比平方的写法——在音乐人声分离里是听起来最自然的选择，它本质上是在做最小均方误差估计，比简单的能量占比更贴合人耳感知。如果你追求极端干净的人声，可以做一个折中：对能量占比超过 0.7 的时频点强制设为 1，低于 0.3 的强制设为 0，中间地带保留软权重。这个技巧适合处理低噪声录音，但对混响大的歌曲副作用明显。
5. 避坑指南：分离效果翻车的六个典型问题
5.1 现象：人声里出现明显的“水声”或“金属声”
原因：分离用的是硬掩码，或者软掩码的平滑度不够。时频点被强行二值化之后，重建时会产生大量的帧间不连续，听感上就是水声。
解决：改用维纳滤波软掩码——就是 4.2 节里的mask_vocal公式。如果已经是软掩码还有水声，检查hop_length是否太短。帧移 1024 时，相邻帧重叠率 75%，掩码在时间轴上比较平滑；如果帧移大于 2048，重叠率低于 50%，掩码的时间分辨率太粗，也会产生水声。
5.2 现象：分离出来的人声有“罐子声”，像在桶里说话
原因：重建时用了幅度谱的逆变换，而没有保留原始相位。很多人把 RPCA 的输入输出当作实矩阵处理，直接用istft(L)重建，这时 MATLAB 要么报错，要么自动补了错误的相位信息。
解决：重建时必须用原始复数谱S_full，把软掩码乘在复数谱上，如下面的代码。相位信息全部来自原始混合信号，这样即使分离不完美，也没有相位失真这个额外变量。
S_vocal = S_full .* mask_vocal; % 软掩码乘复数谱，保留原始相位 S_music = S_full .* mask_music;5.3 现象：低音鼓和贝斯被分到人声里
原因：RPCA 的稀疏矩阵只看幅度大小。鼓点和贝斯的 energy 很大，在频谱矩阵里呈现为稀疏的竖条纹，容易被误判为“稀疏分量”而划给 E 矩阵。
解决：对幅度谱做预处理，把 150Hz 以下的部分直接划给低秩伴奏。因为人声基频最低大概在 80Hz，但实际能量集中在 150Hz 以上。代码如下：
freq_bins = (0 : size(X,1)-1)' / size(X,1) * (fs / 2); low_mask = ones(size(X,1), 1); low_mask(freq_bins < 150) = 0.05; % 低频大幅衰减，防止鼓点被划入稀疏部分 Xw = X .* low_mask; % 注意：低频没完全置零，只是降权重5.4 现象：长音频跑到一半内存爆炸，或速度越来越慢
原因：RPCA 每次迭代都对m×n的矩阵做 SVD。4 分钟的歌曲在 4096 帧长、1024 帧移下大约有 10000 帧，矩阵是 2049×10000，双精度存储就是 160MB，SVD 迭代几十轮以后内存翻几倍是常态。
解决：分段处理。把音频切成 30 秒的块，每一块独立做 RPCA，相邻块之间留 1 秒重叠，重叠区域的分离结果用交叉淡化（crossfade）拼接。工程上这是最常用的做法。还有一个技巧：可以把nfft降到 2048，时间点从 10000 降到 5000，内存直接减半，分离质量损失在可控范围内。
5.5 现象：同一首歌，换一台电脑跑出来的分离效果不一样
原因：不同 MATLAB 版本里svd的实现有差异，尤其'econ'模式在高版本里可能会改变输出矩阵的行数。另外，从 R2021a 开始stft/istft的窗口默认行为做过调整。
解决：写代码时显式指定'Window'、'OverlapLength'、'FFTLength'，不要让 MATLAB 走默认路径。同时把代码里的所有svd调用统一写成[U, S, V] = svd(X, 'econ')这种显式形式，不要省略第二个参数让 MATLAB 自己选。
5.6 现象：分离结果在低频有持续的“嗡”声
原因：频谱均衡freq_weights放大了低频噪声，而这些噪声原本低于人耳听觉阈值，放大后变得可闻。
解决：freq_weights不要从 0Hz 开始线性增加，从 200Hz 开始。低频部分保持原权重即可。另外检查lambda是否太小——λ 太小会让人声稀疏矩阵里混入更多环境噪声，嗡声是其中一个表现。
6. 进阶：分离结果验证与参数微调习惯
6.1 定量验证分离质量：SDR / SIR / SAR
人耳判断有主观偏差，写论文或者做对比实验时需要有可量化指标。BSS Eval 工具包是行业标准，但 MATLAB 实现需要自己写。如果不追求标准工具包，可以自己算简化版的 SDR（信号失真比）。核心逻辑是：干净人声信号 s 与分离结果 y 越接近，SDR 越高。
function sdr = calc_sdr(original, separated) % original: 干净人声参考信号（长度需一致） % separated: 分离出的人声信号 % 返回 SDR 值（dB），越高越好 % 找最优尺度：模型认为分离结果是原信号的缩放加误差 a = sum(original .* separated) / sum(original .* original); error = separated - a * original; sdr = 10 * log10(sum((a * original).^2) / (sum(error.^2) + eps)); end逻辑说明：这里做的是最优线性匹配——先计算分离结果里有多少能量能对应上干净人声（系数 a），剩余的能量当作失真。SDR 大于 10dB 说明分离质量在可用范围内，小于 6dB 基本等于没分。注意这个简化算法假设失真与信号不相关，实际情况未必如此，但作为工程参考足够了。
6.2 用频谱图做快速诊断
比起耳朵听，用spectrogram画图诊断要快得多。分离前后各画一张，重点看两个区域：人声轨的频谱在 2kHz 以上是否连续，如果出现大量断点说明掩码过严；伴奏轨的低频 100Hz 以下是否完整，如果出现空洞说明低频防御没做好。
figure; subplot(2,1,1); spectrogram(vocal, hann(frame_length), frame_length - hop_length, nfft, fs, 'yaxis'); title('Vocal 分离结果'); subplot(2,1,2); spectrogram(music, hann(frame_length), frame_length - hop_length, nfft, fs, 'yaxis'); title('Music 分离结果');这是我调试时必做的一步。耳朵会被单次的分离效果迷惑，但频谱图能直观看到问题区域在哪，比反复听整首歌高效得多。
6.3 我的调试习惯：先跑片段再跑全曲，参数固化在代码里
踩了无数次坑之后，我现在处理一首新歌的标准流程是：先用 10 秒片段测 3 组参数——lambda = 0.5 * base、1.0 * base、2.0 * base——分别跑完，看频谱图挑一组最优的，再用全曲跑一遍。如果是批量处理一批歌，会先随机抽 3 首做同样流程，确定一个全局参数，再去批跑。从那以后我每次处理新数据都强制走一遍这个测试流程，宁愿多花 10 分钟试参，也不愿跑完五分钟的全曲后面对没法用的结果。分离质量的玄学成分很大，但调试流程是可以科学化的。希望帮到你。
本文还有配套的精品资源，点击获取
