HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera

本文介绍了一种新的连续时空视频超分辨率(C-STVSR)框架，称为HR-INR。该框架基于隐式神经表示(INR)，旨在同时提高视频分辨率和帧率，达到任意比例的放大。然而，C-STVSR问题的高度不适定性限制了当前基于INR的方法的有效性：它们假设帧之间的运动是线性的，并使用插值或特征变形来生成任意时空位置的特征。这限制了C-STVSR在捕捉复杂动态场景中的快速和非线性运动以及长期依赖性方面的表现。为了充分利用事件的丰富时间信息，本文提出了一种特征提取方法，包括(1)区域事件特征提取器-通过提出的事件时间金字塔表示将事件作为输入，以捕捉区域非线性运动和(2)整体事件-帧特征提取器，用于长期依赖性和连续运动。然后，作者提出了一种基于INR的新型解码器，具有时空嵌入，以捕捉具有更大时间感知范围的长期依赖性。作者在四个数据集上验证了该方法的有效性和泛化性，包括模拟和真实数据，并证明了该方法的优越性。

本文旨在解决连续空时视频超分辨率（C-STVSR）中存在的非线性运动和长期依赖性问题，以提高视频分辨率和帧率。

本文提出了一种基于INR的C-STVSR框架，利用事件相机的高时间分辨率和低延迟，设计了一个特征提取器来捕捉区域非线性运动和长期依赖性。同时，提出了一种新颖的INR解码器，通过空时嵌入来捕捉长期依赖性。

本文使用了事件相机和四个数据集进行验证，证明了该方法的有效性和泛化性。该方法的亮点包括：利用事件相机的高时间分辨率和低延迟、提出了区域事件特征提取器和全局事件-帧特征提取器、采用INR解码器来捕捉长期依赖性。

最近的相关研究包括：基于深度学习的视频超分辨率方法、基于INR的视频恢复方法等。