Evaluating Numerical Reasoning in Text-to-Image Models

文本到图像生成模型能够生成高质量的图像，通常能够忠实地描绘用自然语言描述的概念。在这项工作中，我们全面评估了一系列文本到图像模型在不同难度的数值推理任务上的表现，并展示了即使是最先进的模型也只具有基本的数字技能。具体来说，它们正确生成图像中精确数量的能力仅限于小数字，高度依赖于数字术语所出现的上下文，并且随着每个连续数字的增加而快速恶化。我们还展示了模型对语言量化器（如“几个”或“和……一样多”）、零的概念缺乏理解，并且在处理更高级的概念如部分数量和分数表示时存在困难。我们将提示、生成的图像和人类注释捆绑成GeckoNum，这是一个新颖的用于评估数值推理的基准。

本论文探讨了文本到图像生成模型在数字推理任务中的表现，发现这些模型在数字概念的理解方面存在局限性。作者试图验证这些模型是否能够准确生成特定数量的物体，并探究它们在处理数字概念时的能力。

本文全面评估了一系列文本到图像模型在数字推理任务中的表现，并展示了这些模型在数字概念理解方面的局限性。作者提出了一个新的基准数据集GeckoNum，用于评估数字推理。

本文发现，文本到图像生成模型在数字推理方面存在局限性，特别是在理解数字概念方面。作者提出了一个新的基准数据集GeckoNum，用于评估数字推理。实验结果表明，这些模型对于一些数字概念的理解仍然存在困难。论文还探讨了这些模型在处理语言量词、零的概念、部分数量和分数表示等更复杂的数字概念时的表现。

最近的相关研究主要集中在文本到图像生成模型的改进和应用方面。其中一些论文包括：《Generative Adversarial Text-to-Image Synthesis》、《StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks》、《AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks》等。