【免费下载链接】story-studio
从选题到剪映草稿的一站式 AI 短视频内容创作 Agent Skill
Story Studio(故事工坊)是一个一站式 AI 短视频内容创作 Skill,其Story Studio 配音环节提供两条开箱即用的路径:一是接入豆包语音大模型,由 Agent 全自动合成本期 MP3;二是自备 MP3 无缝接力,把已有配音丢进项目,Agent 直接接手后续的字幕对齐、配图与剪映草稿。两条路径都能无缝汇入"定稿 → 配音 → Coli 本地转录 → 带时间分镜 → 配图 → 剪映草稿"的完整流水线,新手也能用自然语言一步走完。
一、先选路径:Story Studio 配音双路径如何选最省事?
当口播任务缺少本期最终配音时(哪怕你只说"按这篇文稿配图并做剪映草稿"),Story Studio 会主动给出这两条路径,而不是简单一句"请提供 MP3":
| 对比维度 | 路径一:豆包语音全自动合成 | 路径二:自备 MP3 无缝接力 |
|---|---|---|
| 你要做的事 | 开通语音服务,提供 API Key、speaker ID 和模型资源 | 把本期最终 MP3 交给 Agent |
| Agent 负责的事 | 配置本地调用端、dry-run 预检、合成并校验 MP3 | 核验音频、本地 Coli 转录、音文核对 |
| 适合场景 | 从零开始、不想找录音、想省配音成本 | 已有录音、追求特定真人音色 |
| 记录方式 | voice_mode=doubao | voice_mode=provided |
两条路径共用同一套接力流程,产物完全一致,随时可以中断、换路径或续做。相关规则定义在 SKILL.md 的"缺少最终配音时必须先给出两条路径"一节。
二、路径一:配置豆包语音大模型,由 Agent 全自动合成 MP3
1. 只需提供三样东西:Key、speaker ID、模型资源
第一次使用豆包配音,Agent 会一次问齐三项配置(来源均为火山引擎语音控制台):
- 语音 API Key:对应请求头
X-Api-Key,务必使用"语音服务"的 Key,别把 App ID、字幕 Key 或音色 ID 混进来; - speaker ID:音色库里的准确音色标识,不用音色显示名称替代;
- 模型资源 resource_id:普通 2.0 音色用
seed-tts-2.0,声音复刻 2.0 用seed-icl-2.0。
密钥建议通过宿主的安全输入 / 密钥配置入口提供,不要粘贴在公开聊天里;Agent 可用 scripts/voice_settings.py 从标准输入安全写入专用凭据文件,配置保存在用户数据目录,不进入项目文件与日志。
2. 零门槛依赖安装:不用你手动跑命令
Python、websockets、FFmpeg 等缺失依赖由 Agent 自动安装,不要求你打开终端。初始化说明见 references/setup.md,启动器入口为 scripts/bootstrap.sh(macOS/Linux)或 scripts/bootstrap.ps1(Windows)。
3. 合成前强制 dry-run 预检,确认后才真正花钱
合成由 scripts/doubao_tts.py 基于豆包 V3 双向 WebSocket 接口完成,流程上有多重"防翻车"设计:
- 先用
--dry-run仅核验本地文本和音色参数——不读取 Key、不联网、不发付费请求; - 本期 speaker ID、resource_id、语速、音量、朗读范围向你确认后,才加
--voice-confirmed正式合成; - 全文以不丢字符的文本流发送,收到
SessionFinished与完整音频后,再用 ffprobe + ffmpeg 做完整解码校验; - 成功输出 MP3 及同名
.voice.json元数据(文本哈希、音色、协议、音频哈希、时长),方便跨版本追溯; - 同稿同音色优先复用已成功的 MP3,默认不覆盖、避免重复扣费;网络超时不会自动重试,Agent 会先核对 partial 残留与控制台请求状态,再判断是否重新合成。
三、路径二:自备 MP3 无缝接力,不用手动做字幕
如果你已有录好的配音(真人录音、其他工具合成的音频都可以),直接把文件或本地路径交给 Agent 即可:
- Agent 自动核验音频:完整性、时长、与文稿的对应关系,已有可用最终音频时直接复用,不重复付费合成;
- 本地 Coli 离线转录:调用 transcribe_with_coli.py 识别出带逐句时间戳的 SRT 字幕,基于真实发声边界切分,绝不按字数瞎猜时间;
- 音文核对:对照文案修正转录错字、为重复句消歧,你不需要手工制作任何字幕文件。
转录结果同时作为后续时间轴的唯一依据:带时间的分镜表、配图与剪映草稿全部从这份 SRT 生长出来。
四、无缝接力:从 MP3 到剪映草稿的完整产物链
无论走哪条路径,拿到本期 MP3 后接力流程完全一致:
- Coli 转录→ 生成 SRT 与逐句时间戳;
- 带时间分镜→ 用真实 SRT 与上下文确定每镜起止,不按字数或镜数均分;
- 配图→ 按已确认的画风与数量生图(详见 modules/history-image/GUIDE.md);
- 剪映草稿导出→ 基于
pyJianYingDraft生成 9:16 竖屏可编辑草稿,自动写入慢推拉关键帧与切点缩放(详见 modules/render-history-video/GUIDE.md)。
全程用voice_mode(doubao/provided/none)记录本期配音方式;只写稿时none,后续随时可继续配音。
五、常见问题速答
Q1:不确认会直接扣费吗?不会。未收到你的音色与参数确认前,不发送任何付费合成请求;等待期间 Agent 只推进不依赖音频的工作。
Q2:合成中途断网怎么办?脚本不自动重试,会保留 partial 文件供排查;Agent 先核对残留文件、已有 MP3 和控制台请求状态,再决定是否重新合成。
Q3:字幕是调用的火山字幕 API 吗?不是。字幕统一走本机 Coli 离线识别,项目不调用也不恢复任何云端字幕服务。
Q4:换了文案或重录了配音?时间轴全部失效重来:先回音文核验,再用新版音频重新转录、重新分镜,草稿使用新版本号,不覆盖旧草稿。
Q5:草稿画幅能改吗?默认 1080×1920 竖屏 30fps,用户明确要求时优先按用户设置。
六、延伸阅读
- 配音完整规则:references/doubao-voice.md
- 依赖自动初始化:references/setup.md
- 豆包合成脚本:scripts/doubao_tts.py | 音色与凭据配置:scripts/voice_settings.py
- 本地转录脚本:modules/history-image/scripts/transcribe_with_coli.py
- 剪映草稿模块:modules/render-history-video/GUIDE.md
选对配音路径,剩下的交给流水线:一句话提需求,从定稿到可编辑剪映草稿,Story Studio 帮你走完最后几步。
【免费下载链接】story-studio
从选题到剪映草稿的一站式 AI 短视频内容创作 Agent Skill
相关推荐
【无套路自取】科大讯飞TTS离线语音包:Android端无网语音合成
【无套路自取】科大讯飞TTS离线语音包:Android端无网语音合成 你的 App 需要在地铁、车内、飞机等无网络环境下播报语音?在线语音合成会直接失效。科大讯
语音Video2X 视频超分:老番 5 分钟变 4K
Video2X 视频超分:老番 5 分钟变 4K 手里的老动漫只有 480p,放大后全是马赛克;30 帧的比赛录像动作一顿一顿的。Video2X 是一个开源的视
音视频视频处理图像处理人工智能5分钟实现Electron语音合成:从文字到自然语音的无缝转换
5分钟实现Electron语音合成:从文字到自然语音的无缝转换 你还在为桌面应用添加语音功能而烦恼吗?是否需要复杂的后端服务或第三方API支持?本文将带你探索如
桌面应用跨平台
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考