LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing

视频制作越来越受欢迎，但是编辑所需的专业知识和努力常常对初学者构成障碍。在本文中，我们探讨了将大型语言模型（LLMs）整合到视频编辑工作流程中以减少这些障碍的可能性。我们的设计理念体现在LAVE中，这是一个新颖的系统，提供了LLM驱动的代理人辅助和语言增强的编辑功能。LAVE自动为用户的镜头生成语言描述，作为启用LLM处理视频和协助编辑任务的基础。当用户提供编辑目标时，代理人计划并执行相关操作以实现目标。此外，LAVE允许用户通过代理人或直接UI操作来编辑视频，提供灵活性并启用代理人操作的手动精细调整。我们的用户研究包括8名从初学者到熟练编辑者的参与者，证明了LAVE的有效性。结果还揭示了用户对所提出的LLM辅助编辑范式的看法及其对用户创造力和共同创作感的影响。基于这些发现，我们提出了设计建议，以指导未来代理人辅助内容编辑的发展。

论文试图通过将大型语言模型（LLMs）集成到视频编辑工作流中，降低初学者进行视频编辑所需的专业知识和努力的门槛。

论文提出了一种名为LAVE的系统，该系统提供LLM动力的代理辅助和语言增强编辑功能。LAVE自动生成用户素材的语言描述，作为启用LLM处理视频和协助编辑任务的基础。当用户提供编辑目标时，代理计划并执行相关操作以实现目标。此外，LAVE允许用户通过代理或直接UI操作编辑视频，提供灵活性并启用代理操作的手动细化。

论文进行了一项用户研究，包括从初学者到熟练编辑者的八名参与者，证明了LAVE的有效性。结果还揭示了用户对所提出的LLM辅助编辑范式及其对用户创造力和共同创作感的影响的看法。

相关研究包括：1. "Video Editing with Recurrent Memory Networks"; 2. "Video Editing with Temporal Attention"; 3. "Automatic Video Editing with Temporal and Aesthetic Consistency Constraints"等。