Step-Audio-AQAA：开创端到端全链路音频交互新纪元的突破性大模型

Step-Audio-AQAA：开创端到端全链路音频交互新纪元的突破性大模型

【免费下载链接】Step-Audio-AQAA项目地址: https://ai.gitcode.com/StepFun/Step-Audio-AQAA

在当今人工智能领域，语音交互技术正经历着从传统级联架构向端到端智能的范式转变。Step-Audio-AQAA作为全新一代全链路音频语言大模型（LALM），率先实现了音频查询到音频应答（AQAA）的端到端闭环处理。不同于依赖语音识别（ASR）与语音合成（TTS）模块的传统交互系统，该模型突破性地实现了原始音频输入到自然语音输出的直接映射，不仅彻底消除了级联模块带来的累积误差，更构建了极简高效的系统架构。其核心由双码本音频编码器、1300亿参数的多模态大语言模型（Step-Omni）以及神经声码器三大组件构成。双码本编码器实现语言与语义音频 token 的时序对齐提取，大语言模型通过扩展词表支持文本-音频交织输出，神经声码器则基于音频 token 生成高保真波形。通过在情感控制、角色扮演和逻辑推理任务中的全面测评，Step-Audio-AQAA 展现出端到端音频交互的卓越性能，为构建更自然、更高效的人机语音交互系统开辟了全新路径。

传统语音交互系统普遍采用"语音识别-文本理解-语音合成"的级联架构：先通过自动语音识别（ASR）将用户语音转换为文本，再由大语言模型（LLM）处理文本信息，最后经文本转语音（TTS）模块将文本响应转换为语音输出。这种分模块处理方式不可避免地引入了各环节的转换误差——ASR 的识别错误会直接影响后续语义理解，而 TTS 对文本情感的还原偏差又会降低交互自然度，最终导致系统整体性能的损耗。为解决这一根本性局限，我们提出 Step-Audio-AQAA 这一全端到端音频语言模型，实现音频输入到音频输出的直接映射，彻底摒弃中间文本转换过程，从而构建真正意义上的"语音-语音"直接交互范式。

Step-Audio-AQAA 的模型架构采用三层递进式设计，通过协同工作的三大核心组件实现端到端音频交互能力。

双码本音频编码器是系统的感知前端，创新性地融合了语言特征与语义特征的并行提取机制。其中语言编码器基于 Paraformer 编码器架构，采用 1024 容量码本以 16.7Hz 的采样率提取音素结构和语言属性，精准捕获语音中的文本信息；语义编码器则借鉴 CosyVoice 1.0 的设计理念，使用 4096 容量码本以 25Hz 频率捕捉声学特征，全面记录语速、语调、情感等超语言信息。为确保两种 token 序列的时序一致性，系统采用 2:3 的交织比例进行特征融合，使语言 token 与语义 token 在时间轴上形成精准对齐的特征表示，为后续跨模态理解奠定基础。

如上图所示，该架构清晰展示了 Step-Audio-AQAA 从音频输入到音频输出的完整处理链路，双码本编码器、多模态大语言模型与神经声码器的协同工作机制，直观呈现了端到端音频交互的技术实现路径，为理解全链路语音交互系统的构建原理提供了清晰的视觉参考。

模型的核心处理单元是具备 1300 亿参数的多模态大语言模型 Step-Omni，采用纯解码器架构设计。该模型基于 Transformer 积木块构建，集成 RMSNorm 归一化层和分组查询注意力（GQA）机制，在保持计算效率的同时提升长序列处理能力。为实现文本与音频的统一建模，我们对原始文本词表进行扩展，新增 5120 个音频专用 token，使模型能够原生支持文本与音频 token 的混合输入输出。这种扩展不仅保留了大语言模型强大的文本理解与生成能力，更赋予其直接处理音频语义单元的全新能力，为端到端音频交互提供核心算力支撑。

神经声码器作为音频输出的最终生成模块，采用基于流匹配（flow-matching）的生成模型，其架构源自 CosyVoice 并进行针对性优化，融合 U-Net 空间特征提取与 ResNet-1D 时序特征建模能力。与传统声码器不同，该模块完全基于音频 token 生成语音波形，无需依赖文本输入即可还原丰富的声学细节。通过对音频 token 序列的深度解析，声码器能够精准复现原始语音的韵律特征、情感色彩和说话人风格，实现从抽象 token 到自然语音的高质量转换。

Step-Audio-AQAA 采用四阶段递进式训练策略，确保模型在复杂音频交互场景中具备优异性能。第一阶段进行大规模多模态预训练，在文本、音频、图像三模态数据上进行联合学习，使模型获得跨模态理解的基础能力；第二阶段开展监督微调（SFT），使用音频查询-文本应答（AQTA）和音频查询-文本应答-音频应答（AQTAA）两类数据集，重点优化模型对音频输入的语义理解和音频输出的生成质量；第三阶段引入带音频 token 掩码的直接偏好优化（DPO），通过人工标注的高质量音频交互样本，引导模型学习更符合人类偏好的应答风格和情感表达；最后阶段进行 SFT 模型与 DPO 模型的融合，综合两者优势形成最终模型。这种分阶段训练策略既保证了模型的基础能力，又针对音频交互的特殊性进行了专项优化，实现技术指标与用户体验的双重提升。

为全面验证 Step-Audio-AQAA 的端到端音频交互能力，我们设计了三类典型任务进行性能评估。在语音情感控制任务中，测试模型根据用户指令实时调整应答语音情感基调（如从喜悦转为悲伤）的精准度，结果显示其在句子级情感转换的自然度和连贯性上显著优于传统级联系统；在角色扮演任务中，要求模型模拟特定人物（如历史人物、文学角色）的语音特征和说话风格，测评表明其不仅能准确复现人物的语言习惯，还能保持声音特征的一致性；在逻辑推理任务中，通过复杂音频问题（如多轮对话中的数学计算、因果分析）测试模型的深度理解能力，结果证明其推理准确率达到传统文本交互模型的 92%，且在音频上下文记忆方面表现更优。综合测评数据显示，Step-Audio-AQAA 在交互自然度、情感表达丰富性和语义理解准确性三个关键维度均超越现有级联系统，充分验证了端到端架构的技术优势。

Step-Audio-AQAA 通过创新性地去除 ASR 和 TTS 中间模块，在端到端音频交互领域实现了重大突破。其双码本音频编码技术解决了语言信息与语义信息的同步提取难题，1300 亿参数的多模态大语言模型提供强大的跨模态处理能力，而高效的神经声码器则保证了音频输出的自然度与保真度。这种全链路音频处理架构不仅消除了传统系统的级联误差，更极大提升了语音交互的实时性和自然度，使机器能够真正"听懂"语音背后的情感与意图，"说出"富有表现力的自然应答。未来研究将重点拓展多语言支持能力，实现全球主要语种的端到端音频交互，并探索模型轻量化技术，推动该技术在边缘设备上的部署应用，让自然高效的音频交互体验惠及更广泛的用户群体。

【免费下载链接】Step-Audio-AQAA项目地址: https://ai.gitcode.com/StepFun/Step-Audio-AQAA