Perception- and Fidelity-aware Reduced-Reference Super-Resolution Image Quality Assessment

随着图像超分辨率（SR）算法的出现，如何评估生成的SR图像的质量已成为一项紧迫的任务。虽然全参考方法在SR图像质量评估（SR-IQA）方面表现良好，但它们对高分辨率（HR）图像的依赖限制了它们的实际适用性。尽可能利用可用的重建信息进行SR-IQA，例如低分辨率（LR）图像和比例因子，是一种提高SR-IQA评估性能的有希望的方式，而无需HR作为参考。在本文中，我们试图考虑LR图像和比例因子评估SR图像的感知质量和重建保真度。具体而言，我们提出了一种新颖的双分支减参考SR-IQA网络，即感知和保真度感知的SR-IQA（PFIQA）。感知分支通过利用Vision Transformer（ViT）的全局建模和ResNet的局部关系，并结合比例因子以实现全面的视觉感知，评估SR图像的感知质量。同时，保真度感知分支通过它们的视觉感知评估LR和SR图像之间的重建保真度。两个分支的组合与人类视觉系统基本一致，实现了全面的SR图像评估。实验结果表明，我们的PFIQA在三个广泛使用的SR-IQA基准测试中优于当前最先进的模型。值得注意的是，PFIQA在评估现实世界的SR图像质量方面表现出色。

本文旨在解决图像超分辨率算法中如何评估生成的SR图像质量的问题。

本文提出了一种新的双分支约简参考SR-IQA网络，即感知和保真度感知SR-IQA（PFIQA），通过利用LR图像和比例因子来评估SR图像的感知质量和重建保真度。其中，感知分支通过结合Vision Transformer（ViT）的全局建模和ResNet的局部关系，并结合比例因子来评估SR图像的感知质量。同时，保真度感知分支通过它们的视觉感知来评估LR和SR图像之间的重建保真度。

本文的实验结果表明，PFIQA在三个广泛使用的SR-IQA基准测试中优于当前最先进的模型。特别是，PFIQA在评估真实世界SR图像质量方面表现出色。

在这个领域中，最近的相关研究包括“Deep Multi-Patch Hierarchical Network for Image Super-Resolution”和“Efficient Super-Resolution Using Auto-Encoder with Residual Block and Dense Connection”等。