Adaptive Mixed-Scale Feature Fusion Network for Blind AI-Generated Image Quality Assessment

随着文本到图像和图像到图像生成模型的不断成熟，人工智能生成的图像（AGIs）在广告、娱乐、教育、社交媒体等方面展示了巨大的应用潜力。尽管生成模型取得了显著的进展，但很少有人付出努力来设计相关的质量评估模型。本文提出了一种新的盲图像质量评估（IQA）网络，名为AMFF-Net，用于评估AGI的质量。AMFF-Net从三个维度评估AGI的质量，即“视觉质量”、“真实性”和“一致性”。具体来说，受人类视觉系统的特点启发，同时受到“视觉质量”和“真实性”都具有局部和全局特征的观察启发，AMFF-Net对图像进行了放大和缩小，并将缩放后的图像和原始大小的图像作为输入，以获得多尺度特征。之后，使用自适应特征融合（AFF）块来自适应地融合可学习权重的多尺度特征。此外，考虑到图像和提示之间的相关性，AMFF-Net比较文本编码器和图像编码器的语义特征，以评估文本到图像的对齐情况。我们在三个AGI质量评估数据库上进行了广泛的实验，实验结果表明，我们的AMFF-Net比九种最先进的盲IQ方法具有更好的性能。消融实验的结果进一步证明了所提出的多尺度输入策略和AFF块的有效性。

本论文旨在设计一种新的盲图像质量评估网络AMFF-Net，用于评估人工智能生成的图像的质量，并从视觉质量、真实性和一致性三个维度进行评估。

AMFF-Net采用多尺度输入策略和自适应特征融合（AFF）块来评估人工智能生成图像的质量。同时，AMFF-Net还比较文本编码器和图像编码器的语义特征以评估文本到图像的对齐。

论文在三个人工智能生成图像质量评估数据库上进行了广泛实验，并表明AMFF-Net的性能优于九种最先进的盲图像质量评估方法。论文还进行了消融实验，证明了多尺度输入策略和AFF块的有效性。

最近的相关研究包括：1）基于深度学习的图像质量评估方法；2）基于GAN的图像生成方法；3）基于对抗样本的图像质量评估方法。