ExpressEdit: Video Editing with Natural Language and Sketching

信息视频是向新手和专家解释概念和程序知识的重要来源。在制作信息视频时，编辑通过叠加文本/图像或剪辑镜头来提高视频质量并使其更具吸引力。然而，视频编辑可能会很困难和耗时，特别是对于经常难以表达和实现其编辑想法的新手视频编辑人员来说。为了解决这个挑战，我们首先探讨了如何利用多模态 - 自然语言（NL）和素描这些人类用于表达的自然模态，来支持视频编辑人员表达视频编辑想法。我们收集了来自10个视频编辑人员的176个编辑命令的多模态表达式，揭示了在描述编辑意图时使用自然语言和素描的模式。基于这些发现，我们提出了ExpressEdit，这是一个通过NL文本和在视频帧上素描来编辑视频的系统。由LLM和视觉模型支持，该系统解释（1）NL命令中的时间，（2）空间和（3）操作引用以及素描中的空间引用。系统实现解释的编辑，然后用户可以在其上进行迭代。一项观察性研究（N = 10）表明，ExpressEdit增强了新手视频编辑人员表达和实现其编辑想法的能力。该系统允许参与者更有效地进行编辑并生成更多的想法，通过根据用户的多模态编辑命令生成编辑并支持对编辑命令进行迭代。这项工作为未来的多模态界面和基于人工智能的视频编辑流程提供了设计见解。

论文旨在解决视频编辑的困难和耗时问题，特别是对于新手编辑人员。通过利用自然语言和草图这两种人类常用的表达方式，提供一种新的方式来支持视频编辑人员表达和实现他们的编辑想法。

论文提出了一个名为ExpressEdit的系统，可以通过自然语言文本和在视频帧上进行草图编辑来编辑视频。该系统利用LLM和视觉模型解释自然语言命令和草图中的空间参考，并实现解释的编辑。实验结果表明，该系统可以提高新手视频编辑人员表达和实现他们的编辑想法的能力。

论文通过收集10位视频编辑人员的176个多模态编辑命令，揭示了自然语言和草图在描述编辑意图时的使用模式。论文提出的ExpressEdit系统可以提高新手视频编辑人员的编辑效率，并支持对编辑命令的迭代。实验结果表明，该系统可以增加用户的编辑想法并提高编辑效率。论文还提供了未来多模态界面和基于AI的视频编辑流水线设计的启示。

最近在这个领域中，还有一些相关的研究，如VideoSketch和VideoClipper。