news 2026/8/29 9:03:46

claude-video是什么:让Claude看懂任何视频的终极神器

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
claude-video是什么:让Claude看懂任何视频的终极神器

claude-video是什么:让Claude看懂任何视频的终极神器

【免费下载链接】claude-videoGive Claude the ability to watch any video. /watch downloads, extracts frames, transcribes, hands it all to Claude.项目地址: https://gitcode.com/GitHub_Trending/cl/claude-video

claude-video 是一个给 Claude 装上"眼睛和耳朵"的开源视频理解插件——一条/watch命令,就能让 Claude 自动下载视频、逐帧抽画面、提取字幕或语音转写,然后像一个真正看过视频的人一样回答你的问题。无论你是想总结 YouTube 长视频、拆解爆款内容的开头钩子,还是从一段屏幕录屏里定位 Bug,这个免费的 Claude 视频插件都能帮你省下亲眼看一遍的时间。

为什么需要 claude-video?

平时让 Claude 读网页、跑脚本、浏览代码仓库都没问题,但视频一直是它的短板:你丢一个 YouTube 链接过去,它只能靠标题瞎猜,或者抓一份残缺的转写文本。

claude-video 补齐了这块缺口。安装后,粘贴 URL 或本地视频路径 + 一个问题,Claude 就会:

  • 用 yt-dlp 下载视频(支持 YouTube、Loom、TikTok、X、Instagram 等数百个平台,也支持本地.mp4.mov.mkv文件)
  • 用 ffmpeg 按自动计算的帧率抽取画面
  • 优先抓取平台原生字幕(免费),没有字幕时自动调用 Whisper API 转写
  • 把每一帧当作图片"读"进上下文,再结合带时间戳的转写文本回答问题

回答不再是"根据标题推测",而是"我亲眼看到了第 30 秒的画面"。

快速安装:3 种方式一键上手

方式一:Claude Code 插件(推荐)

在 Claude Code 中执行两行命令即可:

/plugin marketplace add bradautomates/claude-video /plugin install watch@claude-video

后续用/plugin update watch@claude-video即可升级。

方式二:claude.ai 网页版

  1. 从 Release 下载watch.skill文件
  2. 进入 Settings → Capabilities → Skills,点+上传
  3. 记得先开启 "Code execution and file creation",因为技能需要调用 ffmpeg 和 yt-dlp

方式三:Codex 或手动克隆

git clone https://gitcode.com/GitHub_Trending/cl/claude-video ~/.codex/skills/watch

手动开发者也可以克隆到~/.claude/skills/watch目录。

第一次运行:零配置自动装依赖

首次调用/watch时,技能会运行 scripts/setup.py 做预检:

  • macOS:自动通过 brew 安装 ffmpeg 和 yt-dlp
  • Linux:打印对应的 apt / dnf / pipx 安装命令
  • Windows:打印 winget / pip 命令
  • Whisper API 密钥:自动在~/.config/watch/.env中生成占位配置(0600 权限),填入 Groq 或 OpenAI 密钥即可

关键点:大部分公开视频有免费字幕,完全不用花钱。只有当视频没有字幕轨道时(本地文件、TikTok、部分 Vimeo),才需要 Whisper API 密钥。设置完成后,预检静默通过,后续运行几乎零开销。

核心用法:一条命令看懂视频

基本格式就是/watch <视频地址> <你的问题>

/watch https://youtu.be/xxx 第30秒发生了什么? /watch ~/Movies/screen-recording.mp4 界面什么时候出问题的?

聚焦某个时间段是省 Token 的利器——加上--start/--end后,帧预算会变得更密:

/watch 视频链接 --start 2:15 --end 2:45

其他常用参数(传入 scripts/watch.py):

参数作用
--max-frames N压低帧数上限,更省 Token
--resolution 1024加宽帧宽,用于读屏幕上的文字
--fps F手动指定抽帧频率(最高 2 fps)
--no-whisper完全禁用转写,只看画面

它是怎么"看懂"视频的?

整个流程由 scripts/watch.py 编排,核心模块各司其职:

  • scripts/download.py:yt-dlp 下载 + 抓取原生字幕
  • scripts/frames.py:ffmpeg 抽帧,含"按时长自动缩放帧率"的逻辑
  • scripts/transcribe.py:VTT 字幕解析、去重,以及 Whisper 回退调度
  • scripts/whisper.py:Groq(优先,更便宜更快)/ OpenAI 转写客户端

抽出的帧带t=MM:SS时间戳,转写文本同样带时间戳,Claude 会把两者对齐——看到"第 45 秒屏幕报错",就能对应到"第 45 秒他说的那个按钮"。

帧预算:为什么视频长短决定回答质量

图片是最烧 Token 的部分,所以 claude-video 采用"按时长分配帧预算"的策略:

视频时长默认帧数覆盖效果
≤30 秒约 30 帧密集,基本覆盖每个关键时刻
30 秒–1 分钟约 40 帧依然密集
1–3 分钟约 60 帧舒适
3–10 分钟约 80 帧稀疏但可用
>10 分钟100 帧稀疏扫描,建议聚焦重跑

硬性上限是2 fps、100 帧。超过 10 分钟的视频脚本会打印"稀疏扫描"警告,此时用--start/--end聚焦你真正关心的片段,效果远好于硬扫全片。

典型使用场景

  • 📈拆解别人的内容/watch <爆款视频> 他开头用了什么钩子?Claude 看前几帧画面 + 开场转写,直接帮你分析结构
  • 🐛从录屏诊断 Bug/watch bug-repro.mov 哪里出问题了?它常能定位到出错的帧并描述屏幕内容
  • 📝快速总结长视频/watch <链接> summarize this,比 2 倍速看完还快
  • 🔍回答细节问题/watch <链接> 她提到了哪些工具?

使用限制与常见问题

  • 最佳精度:10 分钟以内的视频;更长请用聚焦模式
  • Whisper 上传上限 25 MB:约等于 50 分钟音频(16 kHz 单声道)
  • 不支持需要登录的平台:技能不会登录任何账号,yt-dlp 拿不到的/watch也拿不到
  • 安全设计:视频本身绝不上传到任何 API,只有无字幕时才上传提取出的音频片段;不访问平台账号、不缓存密钥

项目结构与版本

项目结构非常清晰,技能契约定义在 SKILL.md:

  • SKILL.md:技能主契约,三种安装面共用
  • scripts/:全部核心脚本(watch、download、frames、transcribe、whisper、setup)
  • hooks/hooks.json:Claude Code 的会话启动状态钩子
  • CHANGELOG.md:版本历史(当前 0.1.3,2026-05)

项目采用 MIT 开源协议,构建在 yt-dlp、ffmpeg 和 Claude 多模态 Read 工具之上。装好之后,"视频"这个 Claude 此前看不懂的输入源,从此可以像文档一样直接交给它。

【免费下载链接】claude-videoGive Claude the ability to watch any video. /watch downloads, extracts frames, transcribes, hands it all to Claude.项目地址: https://gitcode.com/GitHub_Trending/cl/claude-video

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/29 9:02:13

国产CS5213芯片替代AG6200/AG6201:HDMI转VGA设计实战与成本优化

1. 项目缘起&#xff1a;一个被“卡脖子”的转接头 几年前&#xff0c;我接手了一个项目&#xff0c;需要将一批新采购的迷你主机连接到仓库里那些“老古董”级别的VGA显示器上。这些显示器虽然色彩和分辨率早已落伍&#xff0c;但皮实耐用&#xff0c;扔了可惜。当时市面上最主…

作者头像 李华
网站建设 2026/8/29 8:59:18

SSL/TLS握手过程与密码套件协商:从原理到CVE-2016-2183漏洞排查

SSL/TLS 的握手过程&#xff0c;是我这两年被问得最多的高频八股之一&#xff0c;几乎每次技术面试都会被拿出来当“试金石”。面试官爱问这个问题不奇怪&#xff0c;这一过程能把证书验证、非对称加密、对称加密、哈希校验、随机数生成这些知识点全部串起来&#xff0c;答得好…

作者头像 李华
网站建设 2026/8/29 8:59:02

用 Dify 零代码搭建电商文案生成应用,10 分钟从 0 到 1 跑通

用 Dify 零代码搭建电商文案生成应用&#xff0c;10 分钟从 0 到 1 跑通 【免费下载链接】dify Build Agentic workflows, RAG pipelines, with rich AI model and tool support on one collaborative workspace. Deploy on cloud, VPC, or self-hosted, so teams move from pr…

作者头像 李华
网站建设 2026/8/29 8:56:00

蓝桥杯国赛“三省序列”题解:组合数学与动态规划的精妙结合

1. 项目概述&#xff1a;从一道国赛真题看组合数学与动态规划的精妙结合“三省序列”这道题&#xff0c;源自2019年第十届蓝桥杯国赛C/C大学A组的首题。对于很多参加过蓝桥杯&#xff0c;尤其是冲击国奖的选手来说&#xff0c;这道题的名字并不陌生。它不像某些偏重复杂数据结构…

作者头像 李华