video-use：用代码智能体实现文本驱动视频剪辑，告别手动拖拽-平芜编程栈

你还在用剪辑软件一帧一帧地剪视频吗？或者，你尝试过用AI生成视频，却发现它要么是“一键生成”的黑盒，要么是“提示词调参”的玄学，最终成品和你想要的节奏、情绪、风格总差那么点意思？

最近，一个名为video-use的项目在 GitHub 上火了，短短时间就收获了上万星标。它打出的旗号是“用代码智能体编辑视频”，听起来像是又一个 AI 玩具。但当你真正理解它的工作方式后，你会发现，它解决的远不止是“自动剪辑”这么简单。它本质上是在重新定义“剪辑”这件事：把剪辑从一个依赖鼠标和直觉的“手工操作”，变成了一个基于文本和规则的“逻辑推理”过程。

想象一下这个场景：你把一堆未经处理的原始视频素材丢进一个文件夹，然后打开一个类似 Claude Code 的代码智能体，对它说：“把这些剪成一个 2 分钟的发布会开场视频，去掉所有‘嗯’、‘啊’之类的语气词，风格要干净利落，加上动态字幕。” 接下来，你不需要打开任何软件界面，智能体会自己分析素材、制定剪辑策略、生成时间线、渲染输出，最后把成品final.mp4放回文件夹。

这听起来像魔法，但video-use的核心原理却异常清晰，甚至可以说是一种“降维打击”。它不试图让 AI 去“看懂”每一帧画面，而是让 AI 去“读懂”视频的文本化描述，然后像程序员写脚本一样，生成一个精确到毫秒的剪辑决策列表。今天，我们就来彻底拆解video-use，看看它到底是怎么工作的，为什么这种思路可能比“视觉AI剪辑”更靠谱，以及如果你想用它，真正需要关心的不是“怎么用”，而是“怎么把它用对”。

1. 核心突破：放弃“看视频”，选择“读视频”

几乎所有试图用 AI 处理视频的早期方案，都卡在了同一个瓶颈上：视觉信息的 token 成本高到无法承受。一个 1 分钟、30fps 的视频有 1800 帧。如果让大语言模型（LLM）去“理解”每一帧，即使经过压缩，其 token 消耗也是天文数字，不仅速度慢、成本高，而且大量信息是冗余的（比如连续几帧背景几乎没变）。

video-use做了一个极其聪明的设计反转：它不让 LLM 直接处理像素，而是为 LLM 构建了一个专为剪辑决策服务的“文本界面”。这个界面由两层核心数据构成：

第一层：高精度音频转录文本（takes_packed.md）这是 LLM 的“主视图”。video-use调用 ElevenLabs 的 Scribe API（或其他转录服务），为每段原始素材生成包含以下信息的结构化文本：

逐字时间戳：每个单词的精确开始和结束时间（例如[002.52-005.36]）。
说话人分离：区分不同讲话者（S0,S1）。
非语音事件标记：如(laughter),(applause),(sigh)。
片段元数据：片段 ID、总时长、短语数量。

最终，所有素材的转录文本会被打包成一个约 12KB 的takes_packed.md文件。LLM 通过阅读这个文件，就能完全掌握视频的听觉叙事脉络——谁在什么时候说了什么，哪里有停顿，哪里有笑声。对于以语言为核心的视频（访谈、教程、演讲），这已经包含了剪辑所需 80% 的信息。

第二层：按需生成的视觉摘要（timeline_viewPNG）当 LLM 基于文本无法做出确定判断时（比如：“这个停顿是故意的还是冗余的？”、“这两个镜头切换会不会跳轴？”），它会主动请求生成一个视觉摘要。video-use的timeline_view函数会为指定的时间范围生成一张合成图，通常包含：

关键帧胶片条：在时间线上均匀采样几帧画面。
音频波形图：直观显示音量起伏和静音段。
字幕文本标注：在对应时间点标注台词。

这张 PNG 图片可能只有几十KB，但其信息密度极高，足以让 LLM 判断视觉连贯性。关键在于“按需生成”，LLM 只在关键的决策点（如剪辑点、转场处）请求查看，避免了海量帧的无意义消耗。

这个“文本为主，视觉为辅”的架构，是video-use一切能力的基础。它把视频剪辑这个高维问题，降维成了一个 LLM 擅长的文本分析与结构化输出问题。

2. 工作流拆解：从素材到成品的六步管道

理解了核心数据模型，我们再看video-use的具体工作流。它不是一个模糊的“端到端模型”，而是一个清晰、可干预、可调试的管道（Pipeline）。整个流程可以概括为以下六个步骤：

Transcribe（转录） -> Pack（打包） -> LLM Reasons（推理） -> EDL（生成剪辑表） -> Render（渲染） -> Self-Eval（自评估）

2.1 Transcribe & Pack：构建可查询的“视频数据库”

这是预处理阶段。你放入文件夹的每个视频文件（.mp4,.mov等）都会被自动转录和打包。

依赖：你需要一个 ElevenLabs API 密钥（或其他支持逐字时间戳的转录服务）。这是项目主要的运行成本。
输出：生成takes_packed.md。这个文件是后续所有操作的“单一事实来源”。

实操注意：转录的准确性直接影响最终效果。对于口音较重、背景嘈杂或多人快速对话的素材，可能需要检查转录结果，或考虑使用更专业的本地转录工具（如 Whisper）并调整video-use的集成方式。

2.2 LLM Reasons：基于规则的策略制定

这是智能体发挥核心作用的阶段。你给出一个自然语言指令（如：“剪一个精彩的 90 秒预告片”），LLM 会做以下几件事：

阅读理解：仔细分析takes_packed.md，理解所有素材的内容、结构和亮点。
制定策略：根据你的指令和内置的“12条硬性规则”（如：剪辑点必须在词语边界、必须添加音频淡入淡出等），制定一个具体的剪辑策略。它会输出一个计划，例如：“使用 C0103 的前 10 秒作为开场，接 C0201 中关于‘突破’的陈述，删除中间的‘呃’，在笑声处切入 B-Roll 镜头...”
请求确认：将策略以文本形式呈现给你，等待你的批准。这是一个关键的安全阀，让你在渲染前拥有最终决策权。

2.3 EDL：生成机器可执行的剪辑表

一旦策略获得批准，LLM 会将其转化为一个EDL（Edit Decision List，剪辑决策表）。这是一个纯文本文件，但格式非常精确，例如：

file: C0103.mp4 in: 00:02.520 out: 00:05.360

EDL 是连接创意决策（LLM）和最终渲染（FFmpeg）的桥梁。它不包含任何复杂的特效描述，只精确地定义了：用哪个源文件的哪一段，按什么顺序拼接。

2.4 Render & Self-Eval：渲染与质量闭环

FFmpeg 根据 EDL 执行实际的视频拼接、编码和特效添加（如字幕、调色）。但video-use在此之后加入了一个至关重要的环节：自评估循环。

渲染完成后，系统不会直接给你看成品。它会自动在每一个剪辑点前后生成timeline_view，检查：

视觉跳跃：相邻帧画面是否不连贯（如跳轴、亮度突变）？
音频爆音：剪辑点是否有“啪”的爆音？（video-use默认会添加 30ms 的音频交叉淡化，这里做二次确认）
字幕错误：字幕是否在正确的时间出现和消失？

如果自检发现问题，系统会尝试自动修复（例如微调剪辑点位置）并重新渲染，最多循环 3 次。如果问题依旧，它会停止并提示你人工干预。这个闭环确保了输出结果在技术上是“正确”的，避免了无声片段、音画不同步等低级错误。

3. 不只是工具：一套新的视频编辑哲学

如果你只把video-use当作一个自动剪辑工具，那就低估了它的价值。它背后体现的是一套可被称之为“文本驱动、规则优先、程序化编辑”的新哲学。

1. 剪辑即代码在video-use的世界里，一次剪辑任务最终被物化为一组文件：takes_packed.md（数据），LLM 推理的会话记录（逻辑），edit.edl（执行清单），以及project.md（项目记忆）。整个流程是可版本控制、可重复、可修改的。你可以像回滚代码一样，回到之前的某个剪辑决策点。

2. 规则解放创意项目内置了“12条硬性规则”，涵盖了音频淡化、字幕安全区、色彩空间等“生产正确性”问题。这些规则是强制的、不可协商的。这听起来很死板，但实际上它把剪辑师从大量的机械重复劳动和技术细节中解放了出来。你不再需要担心爆音、字幕出屏、色彩格式错误。你可以专注于更高层次的创意指令：“节奏更快些”、“突出主讲人的权威感”、“在这里营造悬念”。

3. 会话式、累积式的创作video-use通过project.md文件来持久化会话记忆。这意味着你今天剪了前半部分，明天打开智能体，它还记得之前的上下文、已做的决策和你的偏好。你可以说：“接着昨天的剪，但我觉得开场还是太慢了，能不能从第 3 句话直接切入？” 创作过程变成了一个持续的对话，而不是一次性的导出。

4. 技能（Skill）生态的雏形video-use被设计为browser-use框架下的一个“技能”（Skill）。这意味着，理论上你可以让同一个代码智能体，在编辑视频的间隙，去浏览器搜索素材、下载音乐、甚至调用动画生成库（如 Manim）创建动态图表并插入视频中。它指向了一个未来：智能体作为全能创作助手，通过调用不同的专业化技能，完成复杂的多媒体内容生产流水线。

4. 实战指南：如何开始，以及如何避开初期大坑

心动想试试？别急着git clone。先理清思路，它能做什么，不能做什么，以及你需要准备什么。

4.1 适用与不适用场景

非常适合：

口播类内容：访谈、播客、课程录像、产品演示。核心信息在语言中。
流程化剪辑：需要定期处理类似格式的视频，如每周播报、产品更新日志。
创意草稿：快速从大量素材中拼凑出多个不同风格（严肃/活泼）的版本，用于内部评审。
字幕与基础润色：自动添加风格统一的字幕，去除语气词，统一色彩。

目前不擅长/需谨慎：

强视觉叙事：没有对白或对白次要的风景片、舞蹈视频、艺术短片。LLM 缺乏理解视觉韵律的能力。
复杂特效与转场：目前主要处理硬切和基础淡入淡出。复杂的动态图形、蒙太奇、关键帧动画需要额外开发或集成。
精细到帧的调色：虽然支持基础的自动调色（LUT），但无法进行二级调色、局部修饰等操作。
完全无人值守：自评估循环能解决技术错误，但无法判断“是否好看”、“是否感人”。最终审美把关仍需人工。

4.2 环境搭建与配置清单

假设你使用 Claude Code 作为智能体，以下是一个简化的准备清单：

基础环境：确保你有 Python（推荐 3.10+）、Git、FFmpeg、uv（或pip）和brew（macOS）或对应包管理器。

克隆与链接：

git clone https://github.com/browser-use/video-use ~/Developer/video-use ln -sfn ~/Developer/video-use ~/.claude/skills/video-use

这步是将video-use作为“技能”安装到你的智能体环境中。

安装依赖：

cd ~/Developer/video-use uv sync # 或 pip install -e . brew install ffmpeg yt-dlp

配置 API 密钥：这是最关键的一步。你需要一个 ElevenLabs 账户并创建 API Key。
```
cp .env.example .env # 编辑 .env 文件，填入：ELEVENLABS_API_KEY=sk_xxxxxx
```
ElevenLabs 的转录服务是付费的，且按音频时长计费。开始前请了解其定价。

4.3 第一次运行：从简单任务开始

不要一上来就用复杂的多机位访谈素材。找一个1-2 分钟、口齿清晰、背景干净的单人讲话视频作为测试。

将测试视频放入一个空文件夹，例如~/Videos/my_test。
在终端中进入该文件夹，启动你的代码智能体（如claude）。
对智能体说：“Set up https://github.com/browser-use/video-use for me.” 智能体会引导你完成上述安装步骤（如果你还没做），并提示你输入 ElevenLabs API Key。
安装就绪后，告诉智能体：“edit this into a short highlight.”（把它剪成一个简短的精彩片段）。
仔细观察整个过程：
- 看它如何生成takes_packed.md。
- 看它提出的剪辑策略是什么，并批准或修改这个策略。
- 看它生成 EDL 并调用 FFmpeg 渲染。
- 最后，在./edit/文件夹下找到final.mp4和所有中间文件（如timeline_view_*.png）。

这个简单的流程能帮你验证整个管道是否畅通，并直观理解 LLM 是如何“思考”剪辑的。

4.4 常见问题与排查思路

当你从测试走向真实项目，可能会遇到以下问题：

问题现象	可能原因	排查步骤
转录失败或结果混乱	1. API Key 无效或余额不足。 2. 音频质量差、口音重。 3. 视频格式不支持。	1. 检查`.env`文件，在 ElevenLabs 后台验证 Key 和用量。 2. 先用其他工具（如 Mac 的`afconvert`或 FFmpeg）提取音频，听一下是否清晰。 3. 用 FFmpeg 将视频转为标准 MP4/AAC 格式再试。
LLM 提出的剪辑策略很糟糕	1. 指令太模糊。 2. LLM 对内容理解有偏差。 3. 素材本身不适合。	1.给出更具体的指令：“剪一个 60 秒的版本，重点突出客户 testimonials，去掉所有技术术语，结尾要有号召性用语。” 2. 检查`takes_packed.md`，看转录是否准确反映了重点。 3. 在策略确认阶段，人工干预，直接告诉它：“不要用片段A，从片段B的第10秒开始。”
最终视频有技术问题（黑帧、音画不同步）	1. 源视频编码特殊（可变帧率、非标准色彩空间）。 2. FFmpeg 渲染参数不匹配。	1. 用`ffprobe`检查源视频的详细编码信息。 2. 查看`edit/`目录下的日志文件，定位 FFmpeg 报错。 3. 尝试用 FFmpeg 将源视频统一转码为恒定帧率、标准编码（如`libx264`,`aac`）后再处理。
处理速度慢	1. 转录环节耗时（依赖网络和 API）。 2. 素材很长，LLM 推理慢。 3. 自评估循环多次触发。	1. 对于长视频，考虑先粗剪出待用片段，再交给`video-use`精修。 2. 在`.env`中或指令中尝试使用更快的 LLM 模型（如果支持）。 3. 如果对自评估有信心，可以查阅代码，暂时调高自评估的容错阈值或减少检查点。

核心心法：把video-use看作一个极其强大但需要明确指令和合适输入的执行层。你的角色从“操作员”变成了“导演”和“质检员”。你需要提供清晰的创意方向，并准备好符合它工作模式的素材（清晰的音频，标准的格式）。

5. 未来展望：从“自动剪辑”到“程序化内容工厂”

video-use的出现，不仅仅是一个好用的工具。它更像一个信号，指明了 AI 时代内容创作工作流演进的一个方向。

短期来看，我们可以期待：

更多“技能”：与 Blender、After Effects 脚本、3D 渲染引擎集成，处理更复杂的视觉特效。
更好的视觉理解：结合小型视觉模型，自动识别场景、物体、人脸情绪，为 LLM 的决策提供更丰富的上下文。
个性化风格学习：通过分析你过往认可的作品，让智能体学习你偏好的剪辑节奏、转场风格和调色倾向。

长期来看，它可能催生一种新的内容生产模式：

素材即数据：所有原始拍摄素材都自动转录、打标、结构化，存入可查询的媒体数据库。
需求即代码：创作者用自然语言或结构化指令（“情绪曲线”、“目标受众”）描述想要的内容。
智能体即制片：一个主智能体协调多个专项技能智能体（剪辑、调色、配音、包装），从数据库中选取素材，按“代码”执行，并反复自检和优化。
人类即监制：人类创作者负责提供初始创意、审核关键节点、进行最终的审美拍板，而不是陷入繁琐的重复操作。

到那时，剪辑软件复杂的时间线和层层叠叠的轨道，可能会像今天的命令行界面一样，成为只有高级用户才需要深入接触的底层工具。对于大多数内容创作，我们将更多地与“意图”和“标准”打交道，而不是与“像素”和“毫秒”搏斗。

video-use正是通往那个未来的一块重要拼图。它不完美，有局限，需要你适应它的工作方式。但如果你厌倦了在时间线上反复拖拽，如果你渴望一种更抽象、更高效、更可复现的内容创作方式，那么现在就是开始尝试的最佳时机。不要指望它立刻取代你的全部工作流，而是把它当作一个强大的副驾驶，让它去处理那些规则明确、重复性高的粗剪和润色任务，把你解放出来，去做真正需要人类创意和判断的事情。