CSTA: CNN-based Spatiotemporal Attention for Video Summarization

视频摘要旨在生成视频的简明表达，捕捉其基本内容和关键时刻，同时缩短其总长度。尽管一些方法采用注意机制来处理长期依赖关系，但它们常常无法捕捉帧中固有的视觉意义。为了解决这个限制，我们提出了一种基于CNN的时空注意力（CSTA）方法，将单个视频的每个帧的特征堆叠起来形成类似于图像的帧表示，并对这些帧特征应用2D CNN。我们的方法依赖CNN来理解帧间和帧内关系，并通过利用其在图像中学习绝对位置的能力来找到视频中的关键属性。与以前的工作相比，CSTA需要最少的计算开销，因为它将CNN用作滑动窗口，而不需要设计额外的模块来关注空间重要性。对两个基准数据集（SumMe和TVSum）进行的大量实验表明，我们提出的方法在与以前的方法相比少使用MACs的情况下实现了最先进的性能。代码可在https://github.com/thswodnjs3/CSTA上获得。

本论文旨在解决视频摘要中注意力机制无法捕捉帧中视觉重要性的问题，提出了一种基于CNN的时空注意力方法。

论文提出了CNN-based SpatioTemporal Attention (CSTA)方法，将单个视频中每个帧的特征堆叠成类似于图像的帧表示，并对这些帧特征应用2D CNN来理解帧内和帧间关系，利用CNN学习图像中的绝对位置来找到视频中的关键属性。

该方法不需要额外的模块来关注空间重要性，而是使用CNN作为滑动窗口，因此具有更高的效率。在两个基准数据集（SumMe和TVSum）上进行了广泛的实验，证明了该方法在减少MACs的同时实现了最先进的性能。研究者已经开源了代码。

在这个领域中，最近的相关研究包括《End-to-End Learning of Video Super-Resolution with Motion Compensation》和《Video Summarization with Long Short-term Memory》等论文。