Step-Audio-TTS-3B：首个能说唱的SOTA语音合成模型

Step-Audio-TTS-3B：首个能说唱的SOTA语音合成模型

【免费下载链接】Step-Audio-TTS-3B项目地址: https://ai.gitcode.com/StepFun/Step-Audio-TTS-3B

导语：近日，业界首个支持说唱(RAP)和哼唱(Humming)功能的语音合成模型Step-Audio-TTS-3B正式发布，该模型不仅在标准语音合成任务上达到SOTA水平，更突破了传统TTS模型的能力边界，标志着语音合成技术进入多模态表达的新阶段。

行业现状：TTS技术从"能说"向"会表达"跨越

随着大语言模型技术的快速发展，语音合成(TTS)作为人机交互的关键入口，正经历从"清晰可懂"向"自然富有情感"的技术演进。当前主流TTS模型已能实现基本的多语言合成和情感表达，但在处理节奏强烈的说唱、无词哼唱等复杂音频生成任务时仍存在明显局限。同时，内容一致性(语音与文本匹配度)和自然度仍是衡量TTS质量的核心指标，行业亟需在这两方面同时取得突破的创新方案。

模型亮点：突破多项技术瓶颈，重新定义TTS能力边界

Step-Audio-TTS-3B采用创新的双码本(dual-codebook)训练方法，构建了一个30亿参数规模的语音合成大模型，其核心优势体现在以下方面：

1. 行业首创的说唱与哼唱生成能力
作为业内首个支持RAP和Humming的TTS模型，Step-Audio-TTS-3B突破了传统模型对规整语音节奏的依赖，能够处理包含复杂韵律变化的说唱文本，以及无词哼唱的旋律生成。这一突破得益于其专门优化的哼唱声码器(humming vocoder)，使模型不仅能"说"，还能"唱"和"哼"，极大拓展了TTS技术的应用场景。

2. SOTA级别的内容一致性指标
在SEED TTS Eval benchmark测试中，Step-Audio-TTS-3B表现出卓越的内容准确性。在中文测试集上，字符错误率(CER)达到1.31%，英文测试集上词错误率(WER)仅为2.31%，均优于CosyVoice 2、FireRedTTS等主流模型。与GLM-4-Voice(2.19% CER)和MinMo(2.48% CER)相比，Step-Audio-TTS-3B将中文内容错误率降低了30%以上，确保语音输出与文本内容高度一致。

3. 多语言支持与风格可控性
模型支持多语言合成，在中英文测试集上均保持优异性能，并能实现多种情感表达和语音风格控制。通过双码本训练方法，模型可以更精细地捕捉语音的韵律特征和情感色彩，生成更具表现力的语音输出。

4. 高效的模型架构设计
尽管具备强大功能，Step-Audio-TTS-3B仍保持了较高的推理效率，其提供的模型权重包含完整的双码本主干网络和专门优化的声码器，开发者可直接部署使用，降低了先进语音合成技术的应用门槛。

性能验证：多项指标领先，综合实力突出

通过与行业主流模型的对比测试，Step-Audio-TTS-3B展现出全面的性能优势：在中文CER指标上，超越FireRedTTS(1.51%)和CosyVoice 2(1.45%)，达到1.31%的优异成绩；英文WER指标(2.31%)则优于MaskGCT(2.62%)和CosyVoice 2(2.57%)。特别在双码本重合成任务中，Step-Audio-TTS-3B的中文CER(2.192%)显著低于CosyVoice的2.857%，显示出其在复杂音频生成场景下的内容一致性优势。

行业影响：开启语音交互的新可能

Step-Audio-TTS-3B的推出将对多个行业产生深远影响：在内容创作领域，可为短视频、播客提供多样化的语音素材生成工具；在娱乐行业，有望实现虚拟偶像的实时语音互动和音乐创作；在教育领域，能通过富有韵律的语音提升学习体验；在智能交互设备中，则可实现更自然、更具情感的人机对话。

结论与前瞻：语音合成迈入"全能表达"时代

Step-Audio-TTS-3B通过创新的双码本架构和大规模训练，不仅在标准TTS任务上达到SOTA水平，更开创性地实现了说唱和哼唱生成，标志着语音合成技术从单纯的"文本转语音"向"文本转音频表达"的范式转变。随着技术的不断迭代，未来TTS模型有望进一步融合音乐创作、情感演绎等更多元化的音频生成能力，为人机交互带来更丰富、更自然的体验。对于开发者而言，这一模型的开源也为语音技术创新提供了新的基础架构和研究方向。

【免费下载链接】Step-Audio-TTS-3B项目地址: https://ai.gitcode.com/StepFun/Step-Audio-TTS-3B