Bringing Textual Prompt to AI-Generated Image Quality Assessment

AI-Generated Images（AGIs）具有固有的多模态性。与自然场景上的传统图像质量评估（IQA）不同，AGIs质量评估（AGIQA）考虑了图像及其文本提示之间的对应关系。这一点在基础真实分数中有所体现，这使得单模态IQA方法产生了困惑。为了解决这个问题，我们引入了IP-IQA（通过图像和提示进行AGIs质量评估），这是一个多模态的AGIQA框架，通过对应的图像和提示结合来进行。具体来说，我们提出了一种新的增量预训练任务，名为Image2Prompt，以更好地理解AGIs及其相应的文本提示。我们还应用了一种有效而高效的图像提示融合模块，以及一个新颖的特殊[QA]标记。两者都是即插即用的，并有益于图像及其相应提示的协作。实验表明，我们的IP-IQA在AGIQA-1k和AGIQA-3k数据集上实现了最先进的水平。代码将可用。

本论文旨在解决人工智能生成图像的质量评估问题，即AGIQA。与传统的图像质量评估不同的是，AGIQA需要考虑图像和其对应的文本提示之间的对应关系，而这种多模态性质使得传统的单模态评估方法难以处理。

论文提出了一种名为IP-IQA的多模态框架，通过图像和提示的对应来进行AGIQA。具体来说，论文提出了一种名为Image2Prompt的增量预训练任务，用于更好地理解AGI和对应的文本提示。同时，论文还应用了一种有效且高效的图像-提示融合模块和一种特殊的[QA]标记，有利于图像和对应提示的协同作用。

论文在AGIQA-1k和AGIQA-3k数据集上进行了实验，结果表明IP-IQA达到了最先进水平。论文还提供了代码。

近期的相关研究包括：《A Comprehensive Survey of Deep Learning for Image Quality Assessment》、《Multi-Task Deep Neural Networks for Natural Language Understanding and Image Quality Assessment》等。