CLIP-Guided Attribute Aware Pretraining for Generalizable Image Quality Assessment

在无参考图像质量评估（NR-IQA）中，有限的数据集大小是开发强大且具有普适性模型的挑战。传统方法通过利用大型数据集来提取IQA的丰富表示来解决此问题。此外，一些方法提出了基于视觉语言模型（VLM）的IQA，但通用VLM和IQA之间的领域差距限制了它们的可扩展性。在这项工作中，我们提出了一种新颖的预训练框架，通过选择性地从VLM中提取与质量相关的知识，并利用大型数据集的可扩展性来构建IQA的通用表示。具体而言，我们精心选择五个代表性图像质量属性的最佳文本提示，并使用VLM生成伪标签。可以使用大型图像数据集生成众多属性感知的伪标签，使我们的IQA模型学习有关图像质量的丰富表示。我们的方法在多个IQA数据集上实现了最先进的性能，并展现了显着的泛化能力。利用这些优势，我们提出了几个应用，例如评估图像生成模型和训练图像增强模型，展示了我们模型的实际应用性。我们将提供代码以供访问。

本论文旨在解决无参考图像质量评估（NR-IQA）中数据集大小有限的问题，提出了一种新的预训练框架来构建可泛化的图像质量表示。

该论文的关键思路是通过选择优化的文本提示并利用大型数据集生成伪标签，从而从VLM中选择性地提取与质量相关的知识，构建可泛化的图像质量表示。

论文通过实验展示了该方法在多个IQA数据集上取得了最先进的性能，并具有显着的泛化能力。还提出了一些应用，如评估图像生成模型和训练图像增强模型。作者将代码开源。

在近期的相关研究中，也有一些关于无参考图像质量评估的研究，如《A Survey of NR-IQA Methods Based on Deep Learning》、《Deep Learning Based Blind Image Quality Assessment: A Review》等。