从零开始构建开源语音助手：Speech To Speech完整指南 🎙️
【免费下载链接】speech-to-speechBuild local voice agents with open-source models项目地址: https://gitcode.com/GitHub_Trending/sp/speech-to-speech
想用开源模型搭建自己的语音助手吗？Speech To Speech项目为你提供了一条快速通道！这是一个低延迟、模块化的语音对话流水线，从语音识别到语音合成的完整解决方案，让你轻松构建能与OpenAI Realtime API兼容的智能语音助手。
为什么选择Speech To Speech？
想象一下这样的场景：你想为你的机器人、智能家居设备或应用添加语音交互功能，但不想依赖昂贵的云端服务，又希望保持完全的隐私控制。Speech To Speech正是为此而生！它采用VAD→STT→LLM→TTS四阶段流水线架构，每个组件都可自由替换，让你可以根据硬件条件和需求灵活搭配最佳组合。
这个项目已经在数千台Reachy Mini机器人中作为对话后端运行，证明了其生产就绪的稳定性。最棒的是，它完全兼容OpenAI Realtime API协议，这意味着任何支持该协议的应用都能无缝接入你的本地语音助手！
核心功能亮点 ✨
1. 模块化架构，随心搭配
Speech To Speech的核心优势在于其完全模块化的设计。你可以像搭积木一样组合不同的语音识别、语言模型和语音合成组件：
- 语音活动检测(VAD)：使用Silero VAD v5精准检测语音边界
- 语音转文本(STT)：支持Parakeet TDT、Whisper、Faster Whisper、Paraformer等多种模型
- 语言模型(LLM)：可连接本地模型(vLLM、llama.cpp)或云端API(OpenAI、Hugging Face)
- 文本转语音(TTS)：提供Qwen3-TTS、Kokoro、Pocket TTS、ChatTTS等多种选择
2. 多种运行模式，适应不同场景
根据你的使用场景，可以选择最适合的运行模式：
| 模式 | 传输方式 | 适用场景 |
|---|---|---|
| realtime(默认) | WebSocket, OpenAI Realtime协议 | 构建标准语音API应用 |
| local | 本地麦克风和扬声器 | 直接与流水线对话，无需客户端 |
| websocket | 原始PCM over WebSocket | 需要自定义客户端 |
| socket | 原始PCM over TCP | 远程服务器运行模型 |
3. 多语言支持，全球通用
Speech To Speech支持多种语言组合，根据你选择的STT和TTS模型自动适配：
# 自动语言检测 speech-to-speech --language auto # 指定中文对话 speech-to-speech --language zh --stt whisper-mlx --stt_model_name large-v3快速上手：5分钟搭建本地语音助手 ⚡
第一步：安装与配置
# 基础安装 pip install speech-to-speech # 可选组件（按需安装） pip install "speech-to-speech[faster-whisper]" # Faster Whisper STT pip install "speech-to-speech[kokoro]" # Kokoro TTS pip install "speech-to-speech[pocket]" # Pocket TTS第二步：启动服务
最简单的启动方式，使用默认配置：
export OPENAI_API_KEY=你的API密钥 speech-to-speech这将在ws://localhost:8765/v1/realtime启动一个兼容OpenAI Realtime的服务器，使用Parakeet TDT进行本地语音识别，OpenAI兼容的LLM，以及Qwen3-TTS进行本地语音输出。
第三步：开始对话
在另一个终端中运行客户端脚本：
python scripts/listen_and_play_realtime.py --host 127.0.0.1 --port 8765现在你可以对着麦克风说话，并听到AI的语音回复了！🎉
深度配置：打造专属语音助手 🔧
使用本地语言模型
如果你想完全本地运行，可以使用llama.cpp等本地推理服务器：
# 启动llama.cpp服务器 llama-server -hf ggml-org/gemma-4-E4B-it-GGUF -np 2 -c 65536 -fa on --swa-full # 连接本地LLM服务器 speech-to-speech \ --model_name "ggml-org/gemma-4-E4B-it-GGUF" \ --responses_api_base_url "http://127.0.0.1:8080/v1" \ --responses_api_api_key ""优化Mac体验
如果你是Mac用户，可以使用优化配置：
speech-to-speech --local_mac_optimal_settings这个设置会自动配置：
- 使用MPS设备加速
- 选择Parakeet TDT作为STT
- 使用MLX LM作为LLM后端
- 启用Qwen3-TTS的MLX优化版本
自定义语音风格
使用Pocket TTS进行语音克隆：
speech-to-speech \ --tts pocket \ --pocket_tts_voice jean \ --pocket_tts_device cpu支持的声音预设包括：alba、marius、javert、jean、fantine、cosette、eponine、azelma。
项目架构深度解析 🏗️
Speech To Speech采用精心设计的流水线架构，确保低延迟和高可靠性：
核心组件
语音活动检测(VAD)- 位于
src/speech_to_speech/VAD/vad_handler.py- 使用Silero VAD v5检测语音边界
- 智能判断对话轮次切换
- 可配置敏感度和阈值
语音转文本(STT)- 位于
src/speech_to_speech/STT/- 支持多种开源模型
- 实时部分转录功能
- 多语言自动检测
语言模型(LLM)- 位于
src/speech_to_speech/LLM/- 兼容OpenAI API协议
- 支持工具调用和流式响应
- 本地和云端模型无缝切换
文本转语音(TTS)- 位于
src/speech_to_speech/TTS/- 多种语音合成引擎
- 支持语音克隆和风格控制
- 实时音频流输出
配置管理
所有配置参数都在src/speech_to_speech/arguments_classes/目录中管理：
module_arguments.py- 模块级参数vad_arguments.py- VAD相关参数- 各组件专用参数文件
上图展示了如何将OpenAI Realtime客户端端点从云端OpenAI切换到自托管的Speech To Speech服务器
实战案例：构建智能客服机器人 🤖
场景需求
假设你要为电商平台构建一个智能客服语音助手，需要支持中文和英文，能够处理商品咨询、订单查询等常见问题。
配置方案
# 创建配置文件 cat > customer_service_config.sh << 'EOF' #!/bin/bash export OPENAI_API_KEY="your_api_key" speech-to-speech \ --mode realtime \ --stt paraformer \ --stt_model_name "damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch" \ --language auto \ --llm_backend responses-api \ --model_name "gpt-4o-mini" \ --tts qwen3 \ --qwen3_tts_language auto \ --qwen3_tts_speaker Aiden \ --chat_size 50 \ --enable_live_transcription \ --thresh 0.5 \ --min_speech_ms 384 \ --min_silence_ms 64 EOF chmod +x customer_service_config.sh ./customer_service_config.sh客户端集成
使用标准的OpenAI Realtime客户端即可连接：
from openai import OpenAI client = OpenAI( base_url="http://localhost:8765/v1", websocket_base_url="ws://localhost:8765/v1", api_key="not-needed", ) with client.realtime.connect(model="local") as conn: # 设置会话指令 conn.send({ "type": "session.update", "session": { "type": "realtime", "instructions": "你是一个专业的电商客服助手，负责回答商品咨询和订单查询问题。", "audio": { "input": { "turn_detection": { "type": "server_vad", "interrupt_response": True } } } } }) # 处理语音交互 for event in conn: if event.type == "response.audio.delta": # 播放AI语音回复 play_audio(event.delta)性能优化与最佳实践 🚀
延迟优化技巧
选择合适的硬件配置
- GPU加速：使用CUDA版本的STT和TTS模型
- Apple Silicon：启用MLX后端获得最佳性能
- 内存优化：根据模型大小调整内存分配
流水线参数调优
# 降低VAD阈值提高响应速度 --thresh 0.3 # 调整语音检测参数 --min_speech_ms 256 --min_silence_ms 32 # 启用流式传输 --responses_api_stream模型选择策略
- 低延迟场景：选择轻量级模型如Parakeet TDT + Qwen3-TTS
- 高质量场景：使用Whisper Large + GPT-4 + Kokoro TTS
- 多语言需求：搭配支持多语言的模型组合
监控与调试
项目提供了丰富的调试工具：
# 测试TTS性能 python scripts/benchmark_tts.py \ --handlers qwen3 \ --iterations 3 \ --qwen3_mlx_quantizations bf16 4bit 6bit 8bit # 测试STT性能 python scripts/benchmark_stt.py \ --handlers parakeet-tdt faster-whisper常见问题解答 ❓
Q: 如何在不同设备间迁移配置？
A: Speech To Speech的所有配置都通过命令行参数管理，你可以创建不同的启动脚本或使用环境变量来管理不同环境的配置。
Q: 支持哪些操作系统？
A: 支持Linux、macOS和Windows，但某些后端（如MLX相关组件）仅限macOS使用。
Q: 如何处理多用户并发？
A: 可以通过--num_pipelines参数调整流水线数量，支持多用户并发处理。
Q: 如何扩展自定义模型？
A: 继承baseHandler.py中的基类，实现对应接口即可轻松集成新的STT或TTS模型。
社区与贡献 🤝
Speech To Speech是一个活跃的开源项目，欢迎社区贡献：
- 报告问题：在项目issue页面提交bug报告或功能请求
- 提交PR：修复bug或添加新功能
- 改进文档：帮助完善使用指南和教程
- 分享用例：在社区中分享你的成功案例
本地开发环境搭建：
git clone https://gitcode.com/GitHub_Trending/sp/speech-to-speech cd speech-to-speech uv sync pytest ruff check结语：开启你的语音AI之旅 🌟
Speech To Speech为开发者提供了一个强大而灵活的工具箱，让你能够快速构建各种语音交互应用。无论你是想为机器人添加语音功能，还是构建智能客服系统，亦或是开发创新的语音应用，这个项目都能为你提供坚实的技术基础。
记住，最好的学习方式是动手实践！从简单的speech-to-speech命令开始，逐步探索各个组件的配置选项，你很快就能打造出属于自己的智能语音助手。
Speech To Speech支持轻松切换不同语言和语音风格，满足全球化应用需求
现在就开始你的语音AI探索之旅吧！如果有任何问题，记得查阅项目文档或加入社区讨论。🚀
【免费下载链接】speech-to-speechBuild local voice agents with open-source models项目地址: https://gitcode.com/GitHub_Trending/sp/speech-to-speech
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
