Adaptive Image Quality Assessment via Teaching Large Multimodal Model to Compare

虽然最近大型多模态模型（LMMs）的进展显著提高了它们在依赖于绝对质量评估的图像质量评估（IQA）方面的能力，但如何将可靠的相对质量比较输出转化为连续的感知质量分数仍然很少被探索。为了解决这个问题，我们介绍了Compare2Score——一种全面的基于LMM的无参考IQA（NR-IQA）模型，它能够产生定性的比较响应，并有效地将这些离散的比较级别转化为连续的质量分数。具体而言，在训练过程中，我们提出通过比较同一IQA数据集中的图像来生成放大的比较指令，从而实现对不同IQA数据集的更灵活的集成。利用建立的大规模训练语料库，我们开发了一个类似人类的视觉质量比较器。在推理过程中，我们提出了一种软比较方法，它计算测试图像被多个预定义锚定图像优先的可能性，超越了二进制选择。质量分数进一步通过最大后验估计进行优化，得到概率矩阵。在九个IQA数据集上进行的广泛实验验证了Compare2Score有效地将训练过程中的文本定义的比较级别与推理中的转换单个图像质量得分相结合，超越了各种场景下的最先进IQA模型。此外，我们验证了基于概率矩阵的推理转换不仅提高了Compare2Score的评级准确性，而且还提高了零样本通用LMMs的效果，表明其内在的有效性。

本文旨在解决将相对质量比较输出转化为连续感知质量分数的问题。这是一个新问题。

本文提出了一种基于大型多模型的无参考图像质量评估模型Compare2Score，它能够生成定量的比较响应，并有效地将这些离散的比较级别转化为连续的质量分数。

本文使用多个数据集进行了广泛的实验验证，证明了Compare2Score在训练时能够很好地将文本定义的比较级别与推断时的单个图像质量分数相结合，从而在各种场景下超越了现有的无参考图像质量评估模型。此外，本文还提出了一种基于概率矩阵的推理转换方法，不仅提高了Compare2Score的评分准确性，还对零-shot通用LMMs产生了积极的影响。

近期在这个领域的相关研究包括《Deep Image Quality Assessment: A Survey》、《No-Reference Image Quality Assessment in the Spatial Domain》等。