VideoGigaGAN: Towards Detail-rich Video Super-Resolution

视频超分辨率（VSR）方法在提高视频分辨率的同时展现了令人印象深刻的时间连续性。然而，由于它们在生成能力上受到限制，这些方法往往会产生比图像对应物更模糊的结果。这引发了一个基本问题：我们能否将生成图像升频器的成功扩展到VSR任务中，同时保持时间连续性？我们介绍了VideoGigaGAN，一种新的生成VSR模型，可以产生具有高频细节和时间连续性的视频。VideoGigaGAN基于大规模图像升频器GigaGAN。通过添加时间模块将GigaGAN扩展为视频模型会产生严重的时间闪烁。我们确定了几个关键问题，并提出了技术，显著提高了升频视频的时间连续性。我们的实验表明，与先前的VSR方法不同，VideoGigaGAN生成具有更细致外观细节的时间连续视频。我们通过将其与公共数据集上的最先进的VSR模型进行比较，并展示具有$8\times$超分辨率的视频结果，验证了VideoGigaGAN的有效性。

解决问题：论文试图解决视频超分辨率中的模糊问题，同时保持时间一致性。

关键思路：将大规模图像上采样器GigaGAN扩展到视频模型，通过添加时间模块解决时间一致性问题，并提出多项技术改进。

其他亮点：论文提出的VideoGigaGAN模型能够生成具有高频细节和时间一致性的视频，相比先前的方法有更好的效果。实验使用公共数据集进行验证，并展示了8倍超分辨率的视频结果。

相关研究：最近相关研究包括：'VSR-DUF: Deep Video Super-Resolution with Dynamic Upsampling Filters'、'Deep Video Super-Resolution with Pop-up Network'等。