VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data

在盲单图像超分辨率（SISR）任务中，现有的工作已经成功地恢复了图像级别的未知退化。然而，当单个视频帧成为输入时，这些工作通常无法解决由视频压缩引起的退化，例如蚊子噪声、振铃、块状和阶梯噪声。在这项工作中，我们首次提出了一种基于视频压缩的退化模型，在盲SISR任务中合成低分辨率图像数据。我们提出的图像合成方法广泛适用于现有的图像数据集，因此单个退化图像可以包含由有损视频压缩算法引起的失真。这克服了视频数据中特征多样性的泄漏，从而保留了训练效率。通过将视频编码伪影引入SISR退化模型，神经网络可以超分辨率图像，并具有恢复视频压缩退化的能力，同时在恢复由图像压缩引起的一般失真方面取得更好的结果。我们提出的方法在SOTA无参考图像质量评估中实现了优越的性能，并在各种数据集上展现了更好的视觉质量。此外，我们在视频超分辨率（VSR）数据集上评估了使用我们的退化模型训练的SISR神经网络。与专门设计用于VSR目的的体系结构相比，我们的方法表现出类似或更好的性能，证明了将基于视频的退化注入的策略是通用的，即使没有时间线索，也可以解决更复杂的压缩伪影问题。

本论文的问题是解决在单个视频帧输入的情况下，现有的盲超分辨率（SISR）方法通常无法处理由视频压缩引起的降级问题，如蚊子噪声、环绕、块状和阶梯噪声等。作者提出了一种基于视频压缩的降级模型，以合成盲SISR任务中的低分辨率图像数据。

论文中的关键思路是利用视频编码的伪影将图像合成为低分辨率图像，以便在SISR神经网络中训练能够恢复视频压缩降级的能力。这种方法可以应用于现有的图像数据集，从而克服了视频数据中特征多样性的泄漏，从而保留了训练效率。

本论文的亮点包括：1. 提出了一种新的基于视频压缩的降级模型来解决盲SISR任务中的降级问题；2. 在SOTA无参考图像质量评估方面取得了优异的性能；3. 在各种数据集上展示出更好的视觉质量；4. 对SISR神经网络进行了评估，并展示了其在视频超分辨率（VSR）数据集上的性能；5. 展示了该方法的泛化能力，可以解决更复杂的压缩伪影问题，即使没有时间线索也可以。

最近在这个领域中，一些相关的研究包括：1. 'Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation'；2. 'Enhanced Deep Residual Networks for Single Image Super-Resolution'；3. 'Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks'。