Bringing Textual Prompt to AI-Generated Image Quality Assessment

AI-Generated Images（AGIs）具有固有的多模态性质。与自然场景的传统图像质量评估（IQA）不同，AGIs质量评估（AGIQA）考虑了图像与其文本提示的对应关系。这与基于单模态的IQA方法混淆了基本真实度得分。为解决这个问题，我们引入了IP-IQA（通过图像和提示进行AGIs质量评估），这是一个多模态框架，通过相应的图像和提示的结合来进行AGIQA。具体而言，我们提出了一种名为Image2Prompt的新型增量预训练任务，以更好地理解AGIs及其相应的文本提示。我们还应用了一种有效且高效的图像-提示融合模块，以及一个新颖的特殊[QA]标记。两者都是即插即用的，并有利于图像及其相应提示的协作。实验表明，我们的IP-IQA在AGIQA-1k和AGIQA-3k数据集上实现了最先进的水平。代码将在https://github.com/Coobiw/IP-IQA上提供。

本论文旨在解决人工智能生成图像（AGIs）的质量评估问题，特别考虑了图像与文本提示之间的对应关系，这是传统图像质量评估方法所无法处理的。该问题是一个新问题。

论文提出了一种基于图像和提示相结合的多模态框架，名为IP-IQA，通过增量预训练任务Image2Prompt来更好地理解AGIs及其对应的文本提示。同时，还应用了一种有效且高效的图像-提示融合模块和一个特殊的[QA]标记，这两者都是即插即用的，有助于图像和其对应提示的协同作用。

本论文的亮点包括：1. 提出了一种新的多模态框架IP-IQA，实现了对AGIs的质量评估；2. 引入了增量预训练任务Image2Prompt，提高了对AGIs及其对应提示的理解；3. 应用了图像-提示融合模块和[QA]标记，有效地协同了图像和提示信息；4. 实验结果表明，IP-IQA在AGIQA-1k和AGIQA-3k数据集上取得了最先进的结果。该论文提供了开源代码，值得进一步研究。

在该领域中，最近的相关研究包括：1.《A Comprehensive Survey on Image Quality Assessment》；2.《Deep Visual-Semantic Alignments for Generating Image Descriptions》；3.《Generative Adversarial Networks》等。