Quality-Aware Image-Text Alignment for Real-World Image Quality Assessment

本文研究的是无参考图像质量评估（NR-IQA），即在没有高质量参考图像的情况下，设计能够与人类感知相一致的图像质量测量方法。大多数最先进的NR-IQA方法依赖于注释的平均意见分数（MOS），这限制了它们的可扩展性和广泛适用性。为了克服这一限制，本文提出了QualiCLIP（Quality-aware CLIP），一种基于CLIP的自监督无意识方法，不需要标记的MOS。具体而言，我们引入了一种质量感知的图像-文本对齐策略，使CLIP生成与图像固有质量相关的表示。我们从原始图像开始，通过逐渐增加的强度进行合成降级，然后训练CLIP根据与质量相关的反义文本提示来排名这些降级图像，同时保证具有可比质量的图像具有一致的表示。我们的方法在几个具有真实扭曲的数据集上实现了最先进的性能。此外，尽管不需要MOS，QualiCLIP在训练数据集与测试数据集不同时优于监督方法，因此证明更适合实际应用场景。此外，我们的方法表现出更大的鲁棒性和改进的可解释性，优于竞争方法。代码和模型公开在https://github.com/miccunifi/QualiCLIP。

解决问题：论文旨在设计一种不需要标注的人工智能图像质量评估方法，以解决当前大多数方法需要标注的局限性，并提高在真实场景下的适用性。

关键思路：论文提出了一种基于CLIP的自监督方法，使用质量感知的图像-文本对齐策略，使CLIP生成的表示与图像的内在质量相关，并使用质量相关的反义词文本提示训练CLIP对降质图像进行排序。

亮点：QualiCLIP方法在多个数据集上实现了最先进的性能，同时不需要MOS标注，并且在训练集与测试集不同时仍然能够胜过有监督方法，具有更好的适用性。此外，该方法还表现出更强的鲁棒性和改进的可解释性。研究人员公开了代码和模型。

相关研究：在最近的研究中，还有其他一些基于CLIP的自监督方法进行了探索，例如CLIP-EMD和CLIP-MSE。