Semantic Approach to Quantifying the Consistency of Diffusion Model Image Generation

在这项研究中，我们确定了扩散模型中图像生成的可重复性或一致性需要一个可解释的、定量的得分。我们提出了一种语义方法，使用成对均值的CLIP（对比语言-图像预训练）得分作为我们的语义一致性得分。我们将这个度量应用于比较两个最先进的开源图像生成扩散模型，即Stable Diffusion XL和PixArt-α，并发现这些模型的语义一致性得分之间存在显著差异。语义一致性得分选择的模型与人类注释的一致性达到了94%。我们还探讨了SDXL和SDXL的一个LoRA微调版本的一致性，发现微调模型在生成图像的语义一致性方面显著更高。这里提出的语义一致性得分提供了一个图像生成对齐的度量，有助于评估特定任务的模型架构，并帮助在模型选择方面做出明智的决策。

本文旨在提出一种可解释的、量化的图像生成一致性评分方法，以比较不同扩散模型的图像生成一致性，并为特定任务的模型架构评估提供帮助。

本文提出了一种基于语义的方法，使用一对平均CLIP（对比语言-图像预训练）分数作为语义一致性评分，用于比较两种最先进的开源图像生成扩散模型，即Stable Diffusion XL和PixArt-α，并发现了模型之间语义一致性得分的显著差异。

本文的亮点在于提出了一种可解释、量化的图像生成一致性评分方法，并且在两种扩散模型的比较中发现了显著差异。同时，本文还探讨了SDXL和经过LoRA微调的SDXL的一致性，并发现经过微调的模型在生成的图像中具有更高的语义一致性。最后，本文提供了一个衡量图像生成一致性的方法，为模型选择和特定任务的模型架构评估提供了帮助。

与本文相关的研究包括图像生成、扩散模型、深度学习模型的可解释性评估等方面的研究。例如，有关图像生成的相关研究包括《Generative Adversarial Networks》、《Variational Autoencoder》等；有关扩散模型的相关研究包括《Diffusion Models Beat GANs on Image Synthesis》等。