VideoSAGE: Video Summarization with Graph Representation Learning

我们提出了一个基于图形表示学习框架的视频摘要方法。首先，我们将输入视频转换为一个图形，其中每个节点对应于视频帧的一个。然后，我们通过仅连接在指定时间距离内的节点对来使图形稀疏化。然后，我们将视频摘要任务制定为一个二元节点分类问题，精确地分类视频帧是否应属于输出摘要视频。这样构建的图形旨在捕捉视频帧之间的长距离交互，而稀疏性确保模型在不遇到内存和计算瓶颈的情况下进行训练。在两个数据集（SumMe和TVSum）上的实验表明，与现有最先进的摘要方法相比，所提出的灵活模型具有更高的效率，计算时间和内存效率提高了一个数量级。

本论文旨在解决视频摘要问题，即将输入视频转化为图形式进行表示，并通过二元节点分类问题，精确地分类视频帧是否应该属于输出摘要视频。这是否是一个新问题？

本论文的关键思路是将视频转化为图形式进行表示，并通过对图的稀疏化来捕捉视频帧之间的长程交互，以解决视频摘要问题。相比当前领域的研究，该论文的思路具有新意。

本论文使用两个数据集（SumMe和TVSum）进行实验，证明了该方法比现有的摘要方法更加高效，并且具有更好的效果。此外，该论文提出的方法还可以避免内存和计算瓶颈问题。

在这个领域中，最近的相关研究包括：1. 'Video Summarization Using Deep Semantic Features'；2. 'Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward'；3. 'Video Summarization by Learning Submodular Mixtures of Objectives'。