10+年产品经理聊聊产品、测测产品,产品人交流学习成长平台,按 Ctrl+D 收藏我们
关于我 留言板 小程序 标签云

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

北交大开源 CutClaw:自动踩点音乐的 AI 视频剪辑师

2小时前 AI开源项目 6 0

做视频剪辑的人都懂,从几小时的素材里剪出一段踩点精准、叙事流畅的短视频有多折磨人。

特别是对于旅拍博主和 Vlogger 来说,拍了一天 5-6 小时的素材,回来还要花好几个小时慢慢剪,真正的创作热情都被这种机械劳动消磨掉了。

苏米注:更别说搞营销的,要批量生成不同风格的宣传片,工作量更是大到离谱。

最近看到大湾区大学 GVC 实验室和北京交通大学团队开源的 CutClaw,彻底解决了这个痛点。

CutClaw 工作流

这玩意儿不是简单的 AI 剪辑,而是一个模拟专业后期流程的多智能体系统,能把几小时的长视频和一段音乐丢进去,给一句文字指令,它就能自动剪出一部叙事性、节奏感、视觉都在线的电影感短片。

项目简介

简单说,CutClaw 是一个端到端的长视频 + 音乐剪辑系统。

它先把原始的视频和音频拆解成结构化的字幕,然后用多智能体流水线来规划镜头、选择片段时间戳、验证最终质量,最后渲染出成片。

CutClaw 系统架构

核心亮点

1. 音乐驱动剪辑,而不是后配 BGM

这是 CutClaw 最核心的亮点。

绝大多数 AI 剪辑工具都是先剪好视频再配音乐,或者只是简单地把剪辑点和音乐节拍对齐,但 CutClaw 是真正的音乐驱动剪辑决策。

它会先分析音乐的节拍、重拍、音高、能量曲线,把音乐拆解成主歌、副歌这样的结构单元,然后让视觉叙事严格对应到这个听觉骨架上。

苏米注:每个音乐段落分配什么样的场景,每个剪辑点落在哪一拍,都是由音乐决定的。这才是真正的音画合一。

2. 一句话指令,AI 自动理解风格

你不需要手动拉时间轴,不需要一个个选片段,只需要给一句文字指令,CutClaw 就能自动理解并执行。

这种指令控制不是简单的关键词匹配,而是通过多智能体系统来理解你的意图,然后转化成具体的剪辑决策。

3. 智能自动裁剪,适配各社交平台

现在的视频要发抖音、小红书、视频号,每个平台的比例都不一样。CutClaw 有内容感知裁剪功能,能自动识别画面中的核心主体,然后调整画面比例,适配各种社交平台。

4. 一键解构,素材变成可搜索的资产

第一次处理视频时,CutClaw 会进行素材解构,把几小时的长视频拆分成镜头、场景,给每个镜头生成语义描述,包括摄影手法、人物动态、环境等等。

音频方面也会提取节拍、音高、能量,生成结构化的音频标注。

苏米注:这个解构过程虽然第一次慢一点,但后面再用同样的素材剪辑时,就可以直接复用缓存结果,速度会快很多。而且这些结构化的素材也变成了可搜索的资产,你以后想找某个场景也很方便。

快速上手

环境配置

首先克隆仓库,创建环境:

git clone https://github.com/GVCLab/CutClaw.git
cd CutClaw
conda create -n CutClaw python=3.12
conda activate CutClaw
pip install -r requirements.txt

官方强烈推荐使用 GPU 加速的 Decord/NVDEC 构建,可以大幅提升视频解码速度。

素材准备

把你的素材放到对应的目录:

resource/
├── video/      # 放你的 .mp4 / .mkv 视频
├── audio/      # 放你的 .mp3 / .wav 音乐
└── subtitle/   # 可选的 .srt 字幕文件,可以跳过 ASR

运行方式

方式一:Streamlit 可视化界面(推荐)

streamlit run app.py

然后在浏览器打开 http://localhost:8501。在界面里直接选择你放好的视频和音频文件,输入指令就可以了。

方式二:CLI 命令行(高级用户)

python local_run.py \
  --Video_Path "resource/video/你的视频.mp4" \
  --Audio_Path "resource/audio/你的音乐.mp3" \
  --Instruction "你的剪辑指令"

你还可以覆盖配置参数,比如:

python local_run.py \
  --Video_Path "resource/video/xxxx.mp4" \
  --Audio_Path "resource/audio/xxxx.mp3" \
  --Instruction "xxxx" \
  --config.MAIN_CHARACTER_NAME "主角名字" \
  --config.VIDEO_FPS 2 \
  --config.AUDIO_TOTAL_SHOTS 50

模型推荐

CutClaw 支持多种模型,官方推荐:

  • 视频模型:Gemini-3、Qwen3.5、GPT-5.3(用于镜头/场景理解和视觉字幕)
  • 音频模型:Gemini-3(用于 ASR 和音乐结构解析)
  • 智能体模型:MiniMax-2.7、Kimi-2.5、Claude-4.5(用于驱动编剧 + 剪辑师 + 审阅者循环)

它用 LiteLLM 作为 API 管理网关,模型名称格式比如 openai/MiniMax-2.7。

使用场景

  • 旅拍博主:拍了一天的素材,丢给 CutClaw,一句话生成踩点短片
  • Vlogger:快速生成日常视频,不用花几小时手动剪辑
  • 营销团队:批量生成不同风格的宣传片,适配多平台发布
  • 内容创作者:把长视频素材快速剪成短视频,分发到抖音、小红书等平台

总结

CutClaw 的出现,让视频剪辑从一项需要专业技能和大量时间的工作,变成了普通人也能轻松搞定的事情。

它不是简单的自动化工具,而是真正理解音乐和叙事的 AI 剪辑师。

苏米注:如果你是旅拍博主、Vlogger,或者需要经常做视频营销,建议试试这个项目。音乐驱动剪辑这个思路非常创新,值得体验。

项目地址:github.com/GVCLab/CutClaw

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:北交大开源 CutClaw:自动踩点音乐的 AI 视频剪辑师
#CutClaw #视频剪辑 #AI 多智能体 #北交大开源 #音乐驱动剪辑 
收藏 1
Hermes Agent vs OpenClaw:全维度对比分析
Career-Ops:他用 AI 给自己找工作,然后开源了整个系统
推荐阅读
  • AutoResearch:让AI自主优化神经网络训练,单卡也能跑的自适应研究系统
  • 用 AI 蒸馏思维模型:乔布斯 Skill 评价 Apple AI,女娲.skill 13位人物已开源
  • Accomplish:本地运行的开源AI桌面代理,Claude Cowork的功能对标与隐私升级
  • Serena:让 Claude Code 拥有 IDE 级别的代码理解与编辑能力
  • RuoYi AI | 一款基于 RuoYi 框架开发的AI平台,支持本地化 AI 能力,包括向量检索、知识图谱、数字人交互,AI 流程编排
评论 (0)
请登录后发表评论
分类精选
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
8734 5月前
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
7617 7月前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
5851 3月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
5460 2月前
iFlow CLI:让命令行终端不止于编程的AI效率开源神器
5188 7月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
5163 7月前
Composio:让AI Agent自动完成工作任务,能让AI一键操控你的所有软件
5097 6月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
4906 6月前
SpecKit:从想法到代码只需5步?这个开源框架把规范驱动开发变成了现实
4905 6月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
4340 6月前

文章目录

关注「苏米客」公众号

订阅推送更及时,手机查看更方便
分类排行
1 Career-Ops:他用 AI 给自己找工作,然后开源了整个系统
2 北交大开源 CutClaw:自动踩点音乐的 AI 视频剪辑师
3 Hermes Agent vs OpenClaw:全维度对比分析
4 MateClaw:基于 Spring AI Alibaba 的个人 AI 操作系统开源
5 港大开源 OpenHarness:1.1 万行代码实现 Claude Code 核心架构,Agent 从黑盒变白盒
6 VoltAgent awesome-design-md:50+ 品牌 DESIGN.md 设计系统,4 天获 20K+ stars
7 用 AI 蒸馏思维模型:乔布斯 Skill 评价 Apple AI,女娲.skill 13位人物已开源
8 飞书文档一键发布微信公众号:开源工具自动化内容创作流程
9 OpenAlice:开源 AI 炒股 Agent,打造你的私人华尔街
10 Hermes Agent 深度解析:开源智能体的自我进化架构与 OpenClaw 对比
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6
微信文章助手 程序库 免费影视APP 免费字体下载 Axure RP 10 免费Axure模板 Axure元件库下载 申请友联