VIEScore: Towards Explainable Metrics for Conditional Image Synthesis Evaluation

在快速发展的条件图像生成研究领域中，有效评估各种模型的性能和能力面临着诸如解释能力有限等挑战。本文介绍了VIEScore，一种用于评估任何条件图像生成任务的可视化指导可解释度度量。VIEScore利用多模态大语言模型（MLLMs）的通用知识作为骨干，并且不需要训练或微调。我们在七项著名的条件图像任务上评估了VIEScore，并发现：（1）VIEScore（GPT4-o）与人类评估具有较高的Spearman相关性，为0.4，而人与人之间的相关性为0.45。（2）VIEScore（使用开源MLLM）在评估合成图像方面明显弱于GPT-4o和GPT-4v。（3）VIEScore在生成任务中达到与人类评级相当的相关性，但在编辑任务中遇到困难。基于这些结果，我们相信VIEScore展示了在评估图像合成任务中替代人类评判的巨大潜力。

论文介绍了VIEScore，一种用于评估条件图像生成任务的可解释度度量标准。研究旨在解决评估图像生成模型时的可解释度限制问题。

VIEScore利用多模态大语言模型（MLLMs）的通用知识作为骨干，不需要训练或微调。通过在七个条件图像任务上评估VIEScore，研究发现VIEScore在图像合成任务中能够与人类评估相媲美，但在编辑任务中表现不佳。

该论文的亮点包括使用了多模态大语言模型（MLLMs）作为骨干的可解释度度量标准，以及对七个条件图像任务的评估结果。研究还表明，VIEScore可以在某些情况下取代人类评估。

最近的相关研究包括使用GANs进行图像生成，以及其他评估图像生成模型的可解释度度量标准，如Inception Score和Fréchet Inception Distance（FID）。