Blur-aware Spatio-temporal Sparse Transformer for Video Deblurring

视频去模糊依赖于利用视频序列中其他帧的信息来恢复当前帧中的模糊区域。主流方法采用双向特征传播、时空变换器或两者的组合从视频序列中提取信息。然而，内存和计算资源的限制限制了时空变换器的时间窗口长度，从而阻止了从视频序列中提取更长的时间上下文信息。此外，双向特征传播对模糊帧中不准确的光流非常敏感，导致在传播过程中出现误差积累。为了解决这些问题，我们提出了模糊感知时空稀疏变换器网络（BSSTNet）。它引入了模糊图，将原来的密集注意力转换为稀疏形式，从而更全面地利用整个视频序列中的信息。具体而言，BSSTNet (1) 在变换器中使用更长的时间窗口，利用更远的帧中的信息来恢复当前帧中的模糊像素。(2) 引入了由模糊图引导的双向特征传播，减少了由模糊帧引起的误差积累。实验结果表明，所提出的BSSTNet在GoPro和DVD数据集上优于现有的最先进方法。

本论文旨在解决视频去模糊问题，通过提出一种新的模糊感知稀疏空时转换器网络，以更好地利用视频序列中的信息。

BSSTNet提出了模糊映射，将原始的密集注意力转换为稀疏形式，使得能够更全面地利用整个视频序列中的信息。此外，BSSTNet还引入了双向特征传播，通过模糊映射减少了由模糊帧引起的误差积累。

论文使用了GoPro和DVD数据集进行实验，并证明了BSSTNet在视频去模糊方面优于当前最先进的方法。此外，论文还开源了代码。

在相关研究方面，最近的一些论文包括：《Residual Dense Network for Image Super-Resolution》、《Deep Video Deblurring》、《Learning to Extract Flawless Slow Motion from Blurry Videos》等。