再也不用复杂的工作流来生成短剧了——Gemini 加 SeeDance2.0 王炸组合
说真的，我写过不少"如何用AI做短剧"的教程，以前最怕的就是读者在文章下面追问"第一步用什么工具""第二步生成的图和第三步怎么衔接"，因为那个旧工作流确实复杂到连我自己都要对着思维导图操作。但最近我在做一个情感短剧Demo时，把整套流程彻底简化成了两件套：用Gemini负责剧本、分镜、提示词这些"动脑子"的活，用SeeDance2.0负责把静态角色真正"动起来"的活。实操下来，不夸张地说，过去两三天才能磨出来的一集短剧，现在几个小时就能出一版能看的样片。这篇文章就把我这次的组合玩法、踩过的坑和完整步骤整理出来，给同样想低成本做短剧的朋友一个参考。
1. 旧工作流的痛点：不是工具不够多，而是衔接太碎
1.1 我踩过的"经典七步流程"
如果你接触过AI视频生成，一定见过这套标准动作：先用大语言模型写剧本，再把剧本拆成分镜表，接着用AI绘图工具生成角色形象，再用图生视频工具让静态图动起来，然后用数字人对口型工具让角色说台词，最后配音、加字幕、剪成片。我最早的短剧Demo就是这么做的，每一步看起来都有对应的工具，但真正跑起来你会发现，这七步里每一步和相邻步骤都有一道"信息翻译"的损耗。
比如剧本阶段写"女主生气地转身离开"，到了分镜阶段你要把它翻译成"中景，人物从画面左侧向右转身，快步走出画面，面部表情带怒意"。到了绘图阶段，这个描述又要翻译成一套长长的人物外观关键词，确保女主的脸和上一集一样。到了图生视频阶段，又要翻译成镜头运动参数和动作提示词。任何一个环节翻译得不精确，后面全跟着崩。最崩溃的是，你花大力气生成的"生气转身"镜头，如果因为手部崩了或者背景穿帮要重做，那就得从绘图或者视频生成那一步重新来，整个流程的时间成本直接翻倍。
1.2 链路断裂的常见现场
我统计过自己踩过的坑，大部分不是单点工具不行，而是环节交接的地方断掉了。
第一个断点叫"角色一致性"：绘图阶段用一个种子生成的统一形象，到图生视频阶段换了个工具，人物脸型、发色、服装全变了，观众一眼出戏。
第二个断点是"动作可控性"：传统文生视频工具你只能输入"一个人在跳舞"这种模糊描述，它确实会跳舞，但你让它"先向前走三步，再转圈，最后双手张开"，基本靠抽卡运气。
第三个断点是"多镜头叙事断裂"：短剧不是一段装饰性的动态视频，它需要多个镜头拼起来讲一件事。单镜头生成或许还行，但要让连续镜头里人物的情绪、位置、服装保持连贯，旧流程里你得手动在分镜表里维护一大堆状态信息，稍不留神就前后矛盾。
1.3 简化工作的关键不是"少一步"而是"让提示词直接驱动结果"
我后来的体会是：真正麻烦的不是步骤数量，而是每一步之间需要人来手动翻译信息。如果可以只做两件事——第一件事用大语言模型把故事变成结构化的镜头指令，第二件事用视频模型直接执行这些指令——中间不需要我再写一堆中间提示词，那流程就真的顺了。Gemini加SeeDance2.0恰好在这两点上都有长处：Gemini的强项是文本理解、剧本生成和结构化输出，SeeDance2.0的强项是让静态角色按照动作指令动起来。两件套合在一起，正好把原来最耗精力的"翻译"环节省掉了。
2. Gemini负责"文戏"：剧本、分镜、角色一致性设定
2.1 从"故事梗概"到"可直接拍摄的分镜表"
Gemini在这套组合里承担的是"编剧加导演"的角色。我实测下来，与其让它自由创作大段剧本，不如先给它一段明确的故事梗概和角色设定，再让它按固定格式输出分镜脚本。这样可控性高很多，返工少。
下面是我用在项目里的一套指令模板，你可以直接抄：
你是一位擅长短剧的导演。请把下面的故事梗概拆解成约15个镜头： 故事梗概：女一名字叫小梦，是一名咖啡店店员；男一名字叫阿哲，是经常来买咖啡的上班族。两人因为一杯写错名字的咖啡结识，第三集末尾小梦发现阿哲其实是总部派来的区域经理，误会她工作敷衍。 输出要求： 1. 按镜头逐条输出，每条包含：镜头编号、景别（大远景/全景/中景/近景/特写）、运镜方式（固定/推/拉/摇/跟随）、人物状态与动作、对白、本镜头建议时长。 2. 人物状态与动作必须写成由第二人称发起的动作指令，例如"小梦从吧台后走向门口，脚步放慢，眼神看向窗外"。 3. 确保同一集内角色的服装、发型、位置关系前后一致。Gemini 的输出通常会很规范，我在实际操作中还会追加一句"把镜头表整理成Markdown表格"，因为它用表格输出时我更方便直接复制给后续环节使用。实际得到的分镜表大概长这样：
| 镜头 | 景别 | 运镜 | 人物状态与动作 | 对白 | 时长 |
|---|---|---|---|---|---|
| 01 | 中景 | 固定 | 小梦低头擦拭吧台，听到门口风铃响，抬头 | （无） | 3秒 |
| 02 | 近景 | 轻微推近 | 阿哲走进门，表情疲惫，走向吧台 | "老样子，美式，谢谢。" | 3秒 |
| 03 | 特写 | 固定 | 小梦看到杯套上的名字写错，愣住，伸向杯子的手停住 | （无） | 2秒 |
2.2 角色设定卡：用固定文本锁住一致性
短剧中最容易被AI工具搞砸的，就是同一角色不同镜头的长相时像时不像。以前我会去练LoRA模型或者固定种子，现在最省力的办法反而是在每一段和视频模型交互的提示词前面，都贴一张统一的"角色设定卡"。这张卡完全可以交给Gemini生成，它会把角色外貌、服装、年龄感写得非常细致。
比如我在项目中用的设定卡：
小梦：25岁东亚女性，黑色中长发扎成低马尾，浅棕色瞳孔，脸型偏鹅蛋脸。 穿一件米白色衬衫，外面套深绿色咖啡店围裙，没有刘海，耳侧留碎发。 性格关键词：安静、认真、偶尔倔强。 服装同一集内不更换，头发始终扎成低马尾。每次向SeeDance2.0提交动作提示词时，我把这张设定卡原样贴在最前面，后面接Gemini分镜表里的"人物状态与动作"，模型就会按照同一个角色形象去动。这套方法的本质是把"长相一致性"从图片控制转移成文本控制——虽然不如LoRA精准，但胜在零额外成本，而且两次生成之间不会因为切换工具而丢失特征。
2.3 让Gemini把剧本"翻译"成视频模型听得懂的指令
Gemini另一个被低估的能力是改写动作指令。直接说"小梦生气地走出来"，SeeDance2.0可能生成得不够具体；但改成"小梦从吧台后端着一杯咖啡走向门口，迈到第三步时停下来，眉头微皱，低头看了一眼杯套，再抬头看向镜头方向"，模型能捕捉的细节就多了很多。
我通常在分镜表生成之后，再让Gemini做一次"提示词润色"：
请把下面这条分镜的动作描述改写成适合视频动作生成模型的指令： 1. 不要写心理活动和抽象形容词，全部替换为具体肢体动作和时间顺序。 2. 每个动作都要有明确的发力部位：头、手、腿、身体朝向。 3. 可以适当加入镜头运动，但不要超过10个单词。这一步虽小，但对最终视频质量影响极大。因为我发现，视频模型对抽象情感词汇的响应远不如对身体动作词汇的响应，"生气"这种情绪要靠"皱眉""加快步频""攥紧杯子"之类的具体动作才能体现出来。
3. SeeDance2.0负责"武戏"：动作生成和传统文生视频不是一回事
3.1 SeeDance2.0到底解决什么问题
SeeDance2.0本质上是一个面向"角色动作生成"的视频模型。它和传统文生视频最大的区别在于：文生视频是"无中生有"，你给一句话，它给你一段两秒钟的随机动态画面；SeeDance2.0则是"给定的人，做指定的事"，你给它一张静态角色图，再给它一段动作描述或一段参考动作视频，它让这个角色在你的控制下动起来。
这个差别在短剧创作里是决定性的。短剧需要演员、需要表演、需要镜头里的角色"做出反应"，不是看到一朵云飘过、一只猫跑过就够了。用SeeDance2.0做短剧，至少三个方向是我实际测下来非常稳的：一是单角色的日常动作，比如走路、转身、坐下、端起杯子；二是带有明确情绪层次的小幅度表演，比如从面无表情到微微抬起头看对方；三是配合镜头运动的动作闭环，比如"人物从椅子起身，镜头从近景后拉成中景"。
当然，"SeeDance2.0"在不同版本里支持的输入可能略有差异，有的版本还支持音频驱动舞蹈动作，有的版本支持视频动作迁移。我建议你拿到手先摸清自己的版本支持哪几种模式，然后固定用其中一两种，不要每次换模式，否则参数习惯又要重新磨合。
3.2 静态图加动作指令：我推荐的默认用法
我最常用的输入组合是静态角色参考图 + 文本动作指令。操作流程是：
- 先用任何一张符合角色设定卡的静态图作为输入。
- 把Gemini分镜表里的"人物状态与动作"转写成动作指令。
- 设定生成参数后输出一小段视频，时长通常是3到5秒。
这里有个很重要的操作习惯：一个镜头一段动作，永远不要试图在一个生成片段里塞两个连续逻辑动作。比如"阿哲走进门，走到吧台，说台词"这种三动作组合，一定会崩。把它拆成三个独立镜头生成，再剪辑拼接，效果要稳得多。
还有一个参数我会特别留意，就是动作强度。一般的动作生成模型都有类似"运动幅度"的设置，我在短剧里会控制在中等偏低。因为短剧追求自然感，动作强度太大容易变成肢体夸张的舞蹈，放到剧情里很违和。若遇到需要大幅动作的镜头，比如角色生气甩包、快走转身，就单独把该分镜的动作强度调高，但不要整个项目通篇用高强度。
3.3 短剧里适合交给SeeDance2.0的镜头类型
我整理了一个自己的分镜对照表，基本可以快速判断哪些镜头交给SeeDance2.0合适：
| 镜头类型 | 是否适合SeeDance2.0 | 备注 |
|---|---|---|
| 单人日常动作（走、坐、站、回头） | 非常适合 | 输出稳定，重做成本低 |
| 单人情绪表演（微表情+手部小动作） | 适合 | 需要把情绪翻译成肢体指令 |
| 人物从A点走到B点+镜头跟随 | 适合 | 注意控制走路周期和步频 |
| 两人同框对话 | 较难 | 多人交互容易穿帮，优先切单人以特写为主 |
| 打斗、追逐等大幅动作 | 不建议 | 肢体绑定容易错乱，还是老工具更稳 |
所以，若你的短剧题材以情感、都市、生活场景为主，这套组合会非常舒服；如果是动作戏、玄幻打斗为主，至少目前我还没有用这两个工具真正跑通过。
4. 一集短剧的完整实操：从一句话到成片
4.1 我用Gemini先做"剧本三维度"
写过短剧的人都知道，短剧的核心节奏是"每集必须有钩子"。我让Gemini在生成剧本之前，先按三个维度输出剧情结构：前30秒的角色状态、中段的冲突转折、结尾的悬念钩子。这个习惯帮排除了很多"流水账式"的分镜。
比如我最近做一个"街角咖啡馆"连续短剧，第三集的整个剧情只有一句话："小梦发现阿哲隐瞒身份，两人因为咖啡订单产生误会。"Gemini基于这句话，给出的结构是：
- 开场：小梦心情不错，认真准备咖啡，展示日常；
- 中段：阿哲以普通顾客身份点单，说了一句"你们店管理有问题"，小梦误会他在批评自己；
- 钩子：小梦在收拾桌子时看到阿哲文件袋上的公司标志，表情凝固，镜头在她脸上停两秒。
有了这个三节拍，后面的分镜生成就会自然很多。
4.2 每集的分镜拆解和提示词拼接
拿到剧本结构后，我让Gemini继续把它拆成分镜表，加上之前那张角色设定卡，把每一集的镜头控制在12到18个左右，单个镜头时长2到5秒。短剧节奏快，超过6秒的静态镜头基本都要剪掉，所以分镜宁多勿长。
接下来是每个镜头的提示词拼接公式，我固定在提交给SeeDance2.0之前使用：
角色设定：[从设定卡复制] 动作指令：[Gemini输出的动作描述，如"小梦从吧台后向左走到门口，第三步停下，低头看杯套"] 镜头参数：中景，轻微推近，镜头固定 动作强度：0.6每条提示词我尽量控制在60个词以内。太长的话模型容易忽略后半段，太短又会浪费Gemini辛苦拆好的动作细节。
4.3 组装镜头：剪辑、字幕和配音
SeeDance2.0生成出来的片段通常是孤立的几秒，组装工作我放在普通剪辑软件里完成。这里有一个值得做的技巧：把每集15个镜头先生成一个只有片段的粗剪版，再用Gemini输出简要的字幕和后期说明，最后自己对着粗剪版配音或配乐。
Gemini在这个阶段的用法是给它一段"每镜头3到10个字的字幕草稿"，让它检查情绪有没有突转、有没有台词错位，然后生成统一的字幕文件格式。实际跑一遍你会发现，字幕这件事Gemini给你节省的时间不亚于分镜阶段。更妙的是，你可以让它顺便输出每集开头和结尾的"前情提要"和"下集预告"，这些文案模板统一，剪出来很有短剧包装的味道。
4.4 一集完整流程的实测时间参考
这里给一个我自己的时间数据供你参考：20分钟内完成第三集的剧本与分镜，30分钟生成了15个候选镜头（包括重做3个崩掉的镜头），15分钟剪辑与加字幕，10分钟粗略配音和配乐。也就是说，一集长度约1分半的短剧样片，从想法到成片差不多一个半小时内能完成。对比此前用七步流程动辄两三天的体验，这个提升不是一点半点。
5. 这套组合的边界与常见翻车现场
5.1 最容易翻车的三个地方
先说翻车现场，免得你走弯路。第一个是手部细节。SeeDance2.0在让我的人物走路、转身时表现很好，但只要动作指令里出现"端起杯子""用手指着对方"这类手部精细动作，翻车概率直线上升。我的应对办法是：尽量用"手移到杯沿"而不是"端起杯"，用手掌侧面动作替代手指动作。
第二个是多人同框。让两个角色同时出现在画面里互动，目前仍然偶尔会出现人物互相穿过、位置重叠的问题。我现在基本策略是：对话场景拆成单人镜头，用正反打结构剪在一起，不追求一镜双人同框。
第三个问题是长镜头逻辑断裂。如果让一个镜头持续6秒以上，后两秒的动作往往开始失去连贯性，人物位置悄悄偏移。我的上限是单镜头5秒，超出就拆。
5.2 对白与口型：一个难得的权衡策略
短剧有大量对白，但SeeDance2.0不是口型生成工具，你不能指望它让AI角色精准念出长台词。我的策略是把台词压缩在分镜表的"对白"列里，但视频模型只负责动作，口型和语音靠后期统一处理，也就是用配音工具先录好音，再在剪辑软件里切到角色特写时对口型。
实际剪辑上有一个小技巧：对白口型不必精确到每个音，只要保证"他在说话"的画面和"说话气口"大致对上，短剧观众对三秒内的口型偏差容忍度很高。如果你非要精确对口型，那就需要再接入其它的口型同步工具，工作流变复杂，但这和标题里的"简单组合"方向相反了，建议大家按需选择。
5.3 什么情况下我仍会回头用复杂工作流
虽然两件套很顺，但我不建议把它神话。它最强的场景是单人、室内、日常类短剧；若遇到需要复杂运镜、场景穿越、多人打斗或者固定机位逐帧控制的画面，我依然会回到专业工具去处理。这就像家里用一体咖啡机很快，但讲究手冲的人还是会单独再配一套滤杯。明白工具的组合边界，才能发挥它的最大价值。
我在最近几次实操中最受用的一点是：每集跑完流程后，把Gemini生成的分镜表再翻回去，看看哪些镜头的文字描述和最终画面差距最大，把那些描述改得更具体一点。这样反复两三集后，你自己的提示词库就已经比任何通用模板都好用了。没错，这套王炸组合真正的上限，不是模型版本，而是你给模型下达指令的精准度。
