Lotus: Creating Short Videos From Long Videos With Abstractive and Extractive Summarization

短视频在像TikTok和Instagram这样的平台上非常受欢迎，因为它们能迅速吸引观众的注意力。许多创作者会重新利用他们的长视频来制作短视频，但创作者们反映，从长视频中规划、提取和安排片段以制作短视频具有挑战性。目前，创作者通过两种方式制作短视频：一种是从现有的长视频片段中提取内容，制成摘录式的短视频；另一种是为现有画面添加新录制的旁白，制成概括式的短视频。摘录式视频保留了原始音频和画面之间的联系，而概括式视频则提供了在较短时间内选择内容的灵活性。我们介绍了Lotus系统，该系统结合了这两种方法，在保留原始内容与内容灵活性之间取得平衡。Lotus首先生成一个包含简短脚本及其对应语音的概括式短视频，然后将长视频片段与生成的旁白相匹配。创作者可以使用自动化方法或Lotus的编辑界面添加摘录式片段。Lotus的界面还可以用于进一步精炼短视频。我们将Lotus生成的短视频与仅使用摘录方法生成的短视频进行了比较。在用户研究中，我们将使用Lotus创建短视频的过程与参与者现有的做法进行了对比。

该论文旨在解决从长视频中创建短视频时遇到的挑战，即如何在保留原始内容连贯性的同时提供内容选择的灵活性。这并不是一个全新的问题，但现有方法要么完全依赖于提取原始片段（extractive），要么重新录制旁白以匹配视觉内容（abstractive），两者各有局限。

关键思路是提出了一种结合提取和抽象两种方法的新系统Lotus。首先，Lotus生成一个短剧本及其对应的语音，然后将长视频中的片段与新生成的叙述相匹配。之后，创作者可以通过自动化方法或Lotus的编辑界面添加提取的片段，从而在保留原始内容连贯性的同时，提供了更大的内容选择灵活性。这种混合方法为当前领域的研究带来了新的视角。

论文的亮点包括：1) 设计了一个创新的系统Lotus，能够自动生成短剧本和语音，并匹配相关视频片段；2) 提供了一个用户友好的界面，允许创作者进一步编辑和优化短视频；3) 通过用户研究验证了Lotus相比传统方法的优势。实验设计涉及对Lotus生成的短视频与提取基线方法生成的短视频进行对比分析。虽然文中未提及具体数据集或开源代码，但其提出的系统和方法值得进一步研究和开发。

最近在这个领域内的相关研究包括：1) 自动化视频摘要生成技术，如《Automated Video Summarization Using Deep Learning》；2) 视频内容理解和再创作的研究，例如《Video-to-Video Translation with Content-Aware Generative Adversarial Networks》；3) 多模态学习在视频处理中的应用，如《Multimodal Learning for Video Understanding》。这些研究共同推动了视频处理技术的进步。