视频能力——生成、编辑、理解
视频能力在 MateClaw 里的定位
MateClaw 的多模态能力以文字为底座,图像和语音是主要扩展,视频能力相对轻量——但在某些场景里够用:
- 图像序列合成短视频:一组图片 → 生成带背景音乐的短视频
- 视频内容理解:上传一段视频 → Agent 自动生成字幕、提取关键帧、总结内容
- 字幕生成:给一段无字幕视频自动生成时间对齐的字幕
当前版本的视频能力以官方最新版为准,以下描述为常见能力范围。
图像序列合成
写作助手 + 图像生成 + 视频合成可以串成一条链:
- 写作助手写好分镜脚本(5 个场景)
- 图像生成每个分镜的配图
- 视频合成把 5 张图按顺序连成短视频,自动配背景音乐
- 交付 mp4 文件
这条链在 MateClaw 的「内容工作室」员工(2.2.0 起)里是预置模板——不需要自己拼,直接调。
视频内容理解
扔一段 mp4 到 MateClaw 的 Wiki 里,Agent 可以:
- 自动抽帧 + 逐帧理解(如果配了多模态模型)
- 生成时间对齐的字幕(STT + 视频时间戳)
- 总结视频核心内容、提取关键语句
- 把视频内容融入 Wiki 的知识页面
字幕生成
给一段无字幕视频自动生成 SRT/VTT 字幕。支持中英双语、自动识别说话人、时间对齐精度在 100ms 以内。生成后可以手动调整,或让 Agent 按某种风格(正式/口语化/专业)润色字幕内容。