CSTA: CNN-based Spatiotemporal Attention for Video Summarization

视频摘要旨在生成一个简明扼要的视频表示，捕捉其基本内容和关键时刻，同时缩短其总长度。虽然一些方法采用注意力机制来处理长期依赖关系，但它们通常无法捕捉帧中固有的视觉重要性。为了解决这个限制，我们提出了一种基于CNN的时空注意力（CSTA）方法，将单个视频的每个帧的特征堆叠起来形成类似图像的帧表示，并对这些帧特征应用2D CNN。我们的方法依赖于CNN来理解帧之间和帧内关系，并通过利用其在图像中学习绝对位置的能力来找到视频中的关键属性。与以前的工作相比，CSTA需要最少的计算开销，因为它使用CNN作为滑动窗口，而不需要设计额外的模块来关注空间重要性。在两个基准数据集（SumMe和TVSum）上的大量实验表明，我们提出的方法在与以前方法相比的MAC数量更少的情况下实现了最先进的性能。代码可在https://github.com/thswodnjs3/CSTA获得。

本论文旨在解决视频摘要中的长期依赖和视觉重要性捕捉问题，提出了一种基于卷积神经网络的时空注意力机制，以减少视频长度并捕捉关键时刻。

该论文的关键思路是将单个视频的每个帧的特征堆叠起来形成类似图像的帧表示，并对这些帧特征应用2D CNN，以便理解帧之间的关系并找到视频中的关键属性。

该论文提出的CSTA方法使用CNN作为滑动窗口，而不需要设计额外的模块来关注空间重要性，从而具有更高的效率。在SumMe和TVSum两个基准数据集上进行的广泛实验表明，该方法在MACs更少的情况下实现了最先进的性能。此外，该论文提供了开源代码。

在最近的相关研究中，也有一些使用注意力机制来处理视频摘要问题，如《Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward》和《Deep Video Summarization Using Caption and Visual Contents》等。