Evaluating Text-to-Image Generative Models: An Empirical Study on Human Image Synthesis

本文提出了一种细致的评估框架，用于评估文本到图像生成模型在生成人类图像时的效果。我们的评估框架将评估分为两个不同的组别：第一个组别着重于图像质量，例如审美和真实性；第二个组别则检查文本条件，包括概念涵盖和公平性。我们提出了一种创新的审美评分预测模型，用于评估生成的图像的视觉吸引力，并揭示了第一个标记有生成的人类图像中低质量区域的数据集，以便于自动缺陷检测。我们对概念涵盖进行了探索，探究了模型在准确解释和渲染基于文本的概念方面的有效性，而我们对公平性的分析则揭示了模型输出中的偏见，重点关注性别、种族和年龄。虽然我们的研究基于人类图像，但这种双重面向的方法设计具有灵活性，可适用于其他形式的图像生成，增强我们对生成模型的理解，并为下一代更复杂、具有情境感知和伦理意识的生成模型铺平道路。我们将很快发布我们的代码、用于评估生成模型的数据以及标记有缺陷区域的数据集。

本论文旨在提出一个细致的评估框架，针对文本到图像生成模型进行实证研究，并应用于人类图像合成。该框架将评估分为两个不同的组别：第一组关注图像的美学和真实性等方面，第二组则关注文本条件，如概念覆盖和公平性。

论文提出了一种创新的美学评分预测模型，评估生成图像的视觉吸引力，并揭示了第一个标记有生成的人类图像中低质量区域的数据集，以便于自动缺陷检测。同时，论文探索了概念覆盖的有效性，揭示了模型在解释和准确呈现基于文本的概念方面的效果，而公平性分析则揭示了模型输出中的偏见，重点关注性别、种族和年龄。

论文设计了一个双重的评估框架，能够适用于其他形式的图像生成，增强我们对生成模型的理解，并为下一代更复杂、具有上下文意识和伦理意识的生成模型铺平了道路。论文将发布代码、用于评估生成模型的数据以及标注有缺陷区域的数据集。

最近的相关研究包括：《Generative Adversarial Networks》、《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》、《Progressive Growing of GANs for Improved Quality, Stability, and Variation》等。