Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations

本文考虑了智能手机参考图像超分辨率（RefSR）中的两个挑战性问题：如何选择合适的参考图像和如何以自监督的方式学习RefSR。特别地，我们提出了一种新颖的自监督学习方法，用于从双重和多重摄像头缩放观察中进行真实世界的RefSR。首先，考虑到现代智能手机中多个摄像头的普及，更多缩放（长焦）图像可以自然地作为参考来指导少缩放（超广角）图像的超分辨率（SR），这为我们学习从双重缩放观察（DZSR）中执行SR的深度网络提供了机会。其次，对于DZSR的自监督学习，我们选择长焦图像而不是额外的高分辨率图像作为监督信息，并从中选择一个中心补丁作为参考来超分辨率相应的超广角图像补丁。为了减轻训练过程中超广角低分辨率（LR）补丁和长焦地面实况（GT）图像之间的错位效应，我们首先采用基于补丁的光流对齐，然后设计了一个辅助LR来指导变形的变形。为了生成视觉上令人愉悦的结果，我们提出了局部重叠切片Wasserstein损失，以更好地表示特征空间中GT和输出之间的感知差异。在测试期间，可以直接使用DZSR来超级解决整个超广角图像，并以长焦图像为参考。此外，我们进一步采用多个缩放观察来探索自监督RefSR，并提出了一个渐进融合方案，以有效利用参考图像。实验表明，我们的方法在定量和定性性能方面均优于现有技术。代码可在https://github.com/cszhilu1998/SelfDZSR_PlusPlus上找到。

本文旨在解决智能手机参考图像选择和自监督学习的问题，以实现真实世界的参考图像超分辨率。

本文提出了一种新颖的自监督学习方法，通过双重和多重相机缩放观察来实现真实世界的参考图像超分辨率。该方法利用更多缩放（长焦）图像作为参考来引导更少缩放（超宽）图像的超分辨率，从而学习一个能够从双重缩放观察中执行超分辨率的深度网络（DZSR）。

本文提出了一种局部重叠的切片Wasserstein损失，以更好地表示特征空间中GT和输出之间的感知差异。在测试过程中，可以直接使用DZSR来超分辨率整个超宽图像，这使得该方法具有实际应用价值。此外，本文还提出了一种渐进融合方案，以有效利用参考图像的多个缩放观察。实验结果表明，该方法在定量和定性性能方面都优于现有技术。代码可在https://github.com/cszhilu1998/SelfDZSR_PlusPlus上找到。

最近的相关研究包括：1）基于深度学习的超分辨率方法；2）参考图像超分辨率方法；3）自监督学习方法。其中一些相关的论文包括：1）'Deep Residual Learning for Image Super-Resolution'；2）'Reference-Based Super-Resolution by Jointly Estimating and Exploiting Self-Similarity'；3）'Self-Supervised Learning for Single Image Super-Resolution'。