Reframe Anything: LLM Agent for Open World Video Reframing

移动设备和社交媒体的普及已经彻底改变了内容传播，短视频越来越普遍。这种转变引入了视频重构的挑战，以适应各种屏幕比例，这个过程强调视频中最引人注目的部分。传统上，视频重构是一项手动、耗时的任务，需要专业技能，这会产生高额的制作成本。一个潜在的解决方案是采用一些机器学习模型，如视频显着性物体检测，来自动化这个过程。然而，这些方法通常由于依赖特定的训练数据而缺乏通用性。强大的大型语言模型的出现为AI能力开辟了新的途径。在此基础上，我们介绍了Reframe Any Video Agent（RAVA），这是一个基于LLM的代理人，利用视觉基础模型和人类指令来重构视频内容以进行视频重构。RAVA分为三个阶段：感知阶段，它解释用户指令和视频内容；规划阶段，它确定纵横比和重构策略；执行阶段，它调用编辑工具生成最终视频。我们的实验验证了RAVA在视频显着物体检测和真实世界的重构任务中的有效性，展示了它作为AI视频编辑工具的潜力。

论文旨在解决短视频制作中需要手动进行的视频重构问题，提出一种基于大型语言模型的自动化视频重构方案。

论文提出了一种基于大型语言模型的自动化视频重构方案，利用视觉基础模型和人类指令进行视频重构，分为感知、规划和执行三个阶段。

论文在视频显著对象检测和实际视频重构任务中验证了RAVA的有效性，实验结果表明其作为AI视频编辑工具的潜力。

最近的相关研究包括基于深度学习的视频重构方法和视频显著对象检测方法，如DeepSBD、S2S-VD、SiamMask等。