项目分享|Chatterbox TTS：高性能开源文本转语音模型全家桶

引言

文本转语音（TTS）技术已广泛应用于智能语音助手、跨境应用本地化、交互式媒体等场景，但传统TTS模型常面临算力消耗高、生成延迟大、多语言适配差等问题。由Resemble AI推出的Chatterbox TTS开源项目，打造了一套覆盖不同场景的高性能TTS模型家族，兼顾低延迟、多语言、高可控性等特性，为开发者提供了开箱即用的文本转语音解决方案。

项目核心概览

Chatterbox TTS是Resemble AI推出的开源文本转语音模型家族，包含三款核心模型：Chatterbox-Turbo（350M参数，英文，低算力/VRAM、支持副语言标签）、Chatterbox-Multilingual（500M参数，23+语种，零样本克隆）、Chatterbox原版（500M参数，英文，支持创意调优）。项目支持Python 3.11环境，可通过pip install chatterbox-tts快速安装，也可从GitHub源码编译，适配零样本语音助手、全球应用本地化等多种场景。

核心创新与优势

Chatterbox TTS的核心优势集中在性能与体验的双重突破：其一，Turbo版本重构解码器，将语音生成步骤从10步缩减至1步，350M轻量化参数大幅降低算力和VRAM占用，还原生支持[laugh]/[cough]等副语言标签，提升语音真实感；其二，多语言版本覆盖23+语种，满足全球化应用本地化需求；其三，全系列内置PerTh隐式水印，抗音频编辑/压缩，保障AI内容可追溯；此外，商用级服务可实现亚200ms低延迟，适配生产环境。

技术实现与部署实践

环境与安装

项目基于Python 3.11开发测试，推荐Debian 11系统，安装方式如下：

# 快速安装pipinstallchatterbox-tts# 源码安装gitclone https://github.com/resemble-ai/chatterbox.gitcdchatterbox pipinstall-e.

核心使用示例

1. Chatterbox-Turbo使用（支持副语言标签+语音克隆）：

importtorchaudioastaimporttorchfromchatterbox.tts_turboimportChatterboxTurboTTS# 加载模型model=ChatterboxTurboTTS.from_pretrained(device="cuda")# 带副语言标签的文本text="Hi there [chuckle], have you got one minute to chat?"# 基于参考音频克隆语音并生成wav=model.generate(text,audio_prompt_path="your_10s_ref_clip.wav")# 保存音频ta.save("test-turbo.wav",wav,model.sr)

2. 多语言TTS使用：

importtorchaudioastafromchatterbox.mtl_ttsimportChatterboxMultilingualTTS multilingual_model=ChatterboxMultilingualTTS.from_pretrained(device="cuda")# 中文生成示例chinese_text="你好，今天天气真不错，希望你有一个愉快的周末。"wav_chinese=multilingual_model.generate(chinese_text,language_id="zh")ta.save("test-chinese.wav",wav_chinese,multilingual_model.sr)

3. 水印提取（保障内容可追溯）：

importperthimportlibrosa AUDIO_PATH="YOUR_FILE.wav"# 加载音频watermarked_audio,sr=librosa.load(AUDIO_PATH,sr=None)# 初始化水印检测器watermarker=perth.PerthImplicitWatermarker()# 提取水印watermark=watermarker.get_watermark(watermarked_audio,sample_rate=sr)print(f"Extracted watermark:{watermark}")

该项目及相关内容已 AladdinEdu课题广场同步发布，欢迎前往了解更多技术实现与资源。

项目地址：AladdinEdu课题广场