AuK 一键去噪、分人声、拆伴奏：语音增强与分离的后期工作流实测
【免费下载链接】AuK项目地址: https://ai.gitcode.com/tencent_hunyuan/AuK
语音后期处理长期是一门"工具拼装学"：去噪要开 iZotope RX，去混响要挂插件，拆伴奏要单独跑 UVR 或 Demucs，修电话音质、去口水音又得换一套专用模型——每换一个处理环节，就换一次工具、对一次参数、导一次轨。腾讯混元开源的 AuK（1.5B 参数、MIT 协议）把这一切压缩成一句自然语言指令：同一套接口，既能"只保留歌声、其余声音都去掉"，也能"保留所有说话人、去除噪声和混响"，还能在拆出的干声上继续改歌词、调音高。本文以增强与分离为主线，拆解官方 Cookbook 中的指令模板与真实工程参数，梳理一条从"去噪 → 拆伴奏 → 改歌词"的可落地后期链路。
从"插件矩阵"到"一句话指令"：AuK 想统一的事
AuK 是腾讯混元与上海交大联合开源的基础模型，1.5B 参数、训练于数百万小时音频数据，把零样本 TTS、内容/声学/副语言编辑、语音增强与音源分离等 16 类任务统一到一个自然语言指令 + 音频上下文的接口之下（见 README.md 的任务总表）。增强与分离是其中独立的一大类，含四项：语音增强（Speech Enhancement）、说话人分离（Speech Separation）、音乐分离（Music Separation）、目标说话人提取（Target Speaker Extraction）。
支撑这套统一能力的架构在仓库 config.yaml 里有直接的工程证据：
- 语义编码：Qwen2.5-Omni-3B 多模态语言模型，负责把指令"翻译"成生成条件，对应配置
text_encoder.text_encoder_path: ckpts/Qwen2.5-Omni-3B； - 生成主干：混合整流流 Transformer，双流 MMDiT 块 + 单流 DiT 块（
backbone: Flux2Edit），配置arch.dim: 1536、heads: 24、num_layers: 10、num_single_layers: 20； - 声学编解码：BigVGANFlow VAE，
target_sample_rate: 24000（输出 24kHz 音频）、downsample_rate: 480、latent_dim: 64。
按 arXiv 技术报告的数据，训练阶段构建了约30.3 亿条指令-音频实例、195 万小时有效监督，横跨语音生成、内容编辑、增强与分离、副语言编辑、声学编辑五大任务族。后训练还叠加了人评偏好优化（编辑类）与基于奖励的强化学习（生成类），并以一致性初始化 + 任务路由的 Decoupled DMD 蒸馏出 4 步无 CFG 推理的 AuK-Flash。这条"统一指令 + 统一主干"的路线，正是它能把增强、分离与编辑放进同一条流水线的原因——它们共享同一套输入输出协议。
增强与分离的指令写法：Cookbook 第 5 节拆解
官方 Cookbook（docs/COOKBOOK.md）把增强与分离归为第 5 节，所有任务都是等长输出——保留源音频时长，因此调用时不需要显式指定gen_seconds，这是它和 TTS、内容编辑最显著的使用差异。四类任务的中文指令模板如下：
| 任务 | 指令写法（中文） | 作用 |
|---|---|---|
| 去噪 | 请只去除背景噪声，保留其他内容，输出等长结果。 | 仅清理底噪，不动人声细节 |
| 去混响 | 请只去除房间混响，保留其他内容，输出等长结果。 | 针对环境反射声 |
| 语音增强 | 请保留所有说话人，去除噪声和混响，输出等长的纯净语音。 | 综合降噪 + 去混响 |
| 质量修复 | 请修复这段音频的{电话感/闷声/削波/丢包}，恢复自然清晰的人声。 | 面向老录音、电话音质素材 |
| 说话人分离 | 只保留第{序号}个开始说话的人，去掉其余说话人。 | 按发言顺序保留单声道 |
| 音乐分离 | 请只保留歌声，其余声音都去掉。 | 拆出人声干声（伴奏静音） |
| 音乐分离 | 请保留所有人声，包括说话和歌唱，其余声音都去掉。 | 保留全部人声，去掉器乐 |
| 目标说话人提取 | 请只保留说"{内容}"的人，去掉其他说话人。 | 按"说了什么"定位声纹 |
关键在指令粒度：去噪与去混响是分离的两个旋钮，可以单独拧，也可以合并成"增强"一步到位；质量修复甚至能针对"电话感、闷声、削波、丢包"这类具体损伤分别下指令。CLI 与 Python 用法完全同构，例如拆伴奏：
auk-infer \ --audio assets/demo-input-audio/vocal-extraction/vocal-1-input.wav \ --instruction "请只保留歌声，其余声音都去掉。" \ --output out_vocal.wavPython 侧只是换一层封装（run_auk(instruction, output_path, audio_path=...)），核心是把指令与音频组装成 ChatML 风格消息交给AukInfer.generate()。这种"消息即任务"的设计意味着：在代码层面，去噪、分离、编辑没有任何接口差异，差异只在指令文本里。
歌曲场景实测：从"拆伴奏"到"改歌词"的完整链路
人声/伴奏分离在歌曲场景的价值，不止于得到一条干声，而是它解锁了后续编辑。这一点官方文档是明确闭环的：Cookbook 的歌词编辑（Lyric Editing）一节直接声明输入必须是纯人声（a cappella）录音，如果原曲带伴奏，"请先用音乐分离提取人声"。也就是说，官方推荐的标准歌曲后期链路是：
请只保留歌声，其余声音都去掉。→ 得到无伴奏干声；- 对干声做增强或修复（如有底噪/混响残留）：
请保留所有说话人，去除噪声和混响，输出等长的纯净语音。； - 进入编辑阶段：
把这段歌词中的"{原歌词}"改成"{新歌词}"。（改词）、将音调升高{1/2/3}个半音。（调性）、将语速调整为{1.25}倍。（时长）； - 干声处理完再与伴奏在 DAW 里重新合轨。
这条链路的工程价值在于全程不换工具、不重新对齐时间轴——分离和编辑都是同一模型对同一段音频的等长或可控时长重渲染，杜绝了传统方案中"UVR 拆出来 → 拖进编辑器 → 音高修正器再处理"的多次编解码损耗。技术上，分离任务依赖模型对"歌声 vs 伴奏"的声学分布建模，而等长输出保证了 24kHz 干声与伴奏的逐帧对齐，为后续合轨省去对齐步骤。
需要客观标注的边界是：社区实测普遍反映模型存在约 30 秒的源/参考加目标时长预算（ComfyUI 集成会显式校验这一约束，长素材需要切片处理）；同时后训练基准中情绪编辑成功率仅约 9.94%，说明 AuK 的强项在信号级任务（增强、分离、修复），语义级生成（情绪迁移、复杂改写）仍在爬坡。就增强与分离这一主题而言，它处于技术报告的"竞争力最强"区间——官方表述是"在信号级恢复任务上保持竞争力"。
与现有后期工具的协同：三种部署形态与工程参数
AuK 提供了 CLI（auk-infer）、Web UI（auk-gradio）、ComfyUI 节点（AuK Model Loader + AuK Generate/Edit，内置可复用工作流）三种形态，可以直接嵌进现有后期管线：
- 批处理/脚本化：CLI 适合对一批素材跑统一的去噪、拆伴奏任务，输出等长 wav 直接进工程目录；
- 可视化流水线：ComfyUI 把"分离 → 编辑 → 重合成"串成节点图，适合边看波形边调整；
- 服务化：SGLang-Omni、vLLM-Omni 已提供 AuK/AuK-Flash 的 Day-0 支持，可把增强与分离作为 API 嵌入自动化的播客、直播后处理系统。
工程资源占用是实际落地最关心的数字。官方 README 在 A800-SXM4-80GB、bf16 下实测：AuK 处理 1.5 秒文本指令输出，峰值显存 24.78 GiB，开启--cpu_offload后降到 16.75 GiB，节省约 32%（带 5 秒参考音频时为 25.00 → 16.98 GiB）；社区 PR 还通过降低编码器占用进一步省下约 7.5 GiB，消费级 GPU 本地推理的门槛正在被持续压低。追求速度则换 AuK-Flash：固定 NFE=4、CFG=0，官方口径是同条件下比完整模型提速 4.5 倍。多平台适配（Apple Silicon MLX、audio.cpp GGUF 离线推理）让后期人员可以在自己手头最顺手的设备上跑。
与现有工具协同的最后一环是定制：AuK 微调采用统一的 JSONL 格式（每行一条"指令 + 源音频 → 目标音频"），全部 16 类任务共用同一格式，只是指令和音频对不同。这意味着可以用一批"带底噪的播客录音 → 干净干声"数据微调出专门面向直播/播客/ASMR 场景的去噪模型，也可以积累"中文流行歌 → 干声"数据强化中文拆伴奏效果——这也是它作为 ICASSP 2027 Audio Editing Challenge 单模型赛道官方基线的底气所在。模型与权重均以 MIT 协议开放（见 LICENSE），商用无授权障碍。
后期工作流的"对话化"拐点
把传统链路和 AuK 链路并排看，变化是结构性的：过去每个处理环节对应一个专用模型、一套参数、一次导出，流程越长，工具链的摩擦越大；现在增强、分离、修复、编辑共享一个 1.5B 模型和同一套消息接口，后期人员的工作从"调工具"变成"写指令"。这不是把几个开源模型拼在一起，而是让"我要什么结果"直接成为模型输入——拆伴奏、留人声、修电话音质，本质都是同一句"请保留……去掉……"的自然语言。对创作者和后期人员而言，这意味着从素材到成品的最短路径，正在被压缩成一条可复现、可批处理、可微调的指令流水线。
当然，落地前值得把三个数字记在心头：24kHz 的输出采样率决定了它适合作为后期中间件而非最终母带工具；约 30 秒的时长预算要求长素材先切片；情绪等语义级任务的成功率仍有限，信号级任务才是它当前最锋利的刀。把这三点纳入流程设计，AuK 在语音后期工作流里的位置就会非常清晰：所有"清理与拆分"的脏活交给它，人类只负责写指令、做审美判断。
【免费下载链接】AuK项目地址: https://ai.gitcode.com/tencent_hunyuan/AuK
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
