以前想让 Claude 看视频,基本只能靠猜。要么从标题推断,要么拉个字幕文本丢给它,但字幕经常少 90% 的屏幕内容。即使把视频链接给 Claude,它也会说"我不能看视频"。
GitHub 上刚开源的 claude-video(4200+ Star)解决了这个问题——它让 Claude 能真正"看完"视频后再回答你的问题。

它的工作原理其实不复杂:给一个 B 站链接或本地视频文件,它会自动下载、提取帧、转录字幕,把所有内容交给 Claude。从技术上讲,Claude 并没有获得"视频理解能力",只是把视频分成了它可以理解的图像和文字。

实际运行效果
比如一个 5 分钟的 B 站视频,只需要说一句 /watch https://www.bilibili.com/video/xxx 总结一下,它就自动开始处理。
先用 yt-dlp 查看是否有原生字幕,有就直接提取出来——大多数公开视频都配有字幕,这一步基本免费且很快。

然后 ffmpeg 根据视频时长自动控制帧数,5 分钟的视频大约提取 30 帧,涵盖从头到尾的重要画面。这些是 512 像素宽的 JPEG 图片,Claude 可以直接"看懂"。

接着把音频转成文字,字幕和帧都带有时间戳(如 t=1:42)。Claude 不仅能看到画面、听见声音,还能像人一样把视频"看完"。

最后你提问它回答。问"30 秒讲的是什么",它会看第 30 秒的帧和字幕直接回答,不需要你打开视频去找。
核心特性
1. 多平台视频抓取
支持 YouTube、TikTok、X、Instagram 和本地文件。底层用 yt-dlp,可识别几百个视频源。
2. 自适应帧提取
根据视频时长动态采样:30 秒以内约 30 帧,1~3 分钟约 60 帧,3~10 分钟约 80 帧,超过 10 分钟控制在约 100 帧以内,不会把 context window 撑爆。

3. 双重转录方式
优先使用视频原字幕,免费、快速、相对准确。没有字幕时才调用 Whisper API。
4. 智能去重
自动检测并删除静止画面、重复帧,防止浪费 token。

5. 时间段精准定位
使用 --start 和 --end 参数指定时间段,在范围内密集提取帧,适合分析 Bug 录屏、病毒视频开头、竞品广告创意等。

安装方式
Claude Code 用户:
/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video
其他平台(Codex、Cursor、Copilot、Gemini CLI 等):
npx skills add bradautomates/claude-video -g
首次运行会自动检查依赖,macOS 自动安装 ffmpeg 和 yt-dlp,Linux/Windows 会打印具体安装命令。
边界与限制
- 不支持私有视频:只处理公开 URL 和本地文件
- 长视频精度受限:超过 10 分钟的视频帧率稀疏,可用 --start/--end 指定时间段
- 依赖外部工具:需要 ffmpeg 和 yt-dlp
- 字幕质量依赖原视频:自动字幕质量差时理解会受影响
总结
这个工具的价值不在于技术有多高深,而是它让 Claude 的能力边界从文本和图片扩展到了视频。把现有能力组合出新玩法,这种方式值得学习。