GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation

尽管最近的文本到3D生成方法有了一些进展，但是可靠的评估指标还是比较缺乏的。现有的指标通常只关注单个标准，例如资产与输入文本的对齐程度。这些指标缺乏灵活性，无法推广到不同的评估标准，并且可能与人类偏好不太一致。进行用户偏好研究是一种提供适应性和人类对齐结果的替代方法。然而，用户研究的成本可能非常高。本文提出了一种自动、多功能和与人类偏好一致的文本到3D生成模型评估指标。为此，我们首先使用GPT-4V开发了一个提示生成器，用于生成评估提示，作为比较文本到3D模型的输入。我们进一步设计了一种方法，指导GPT-4V根据用户定义的标准比较两个3D资产。最后，我们使用这些成对比较结果来为这些模型分配Elo评分。实验结果表明，我们的指标在不同的评估标准下与人类偏好强烈一致。

如何评估文本到3D生成模型的质量？现有的评估指标不够灵活，也无法与人类偏好相匹配，而用户研究成本又很高。论文旨在提出一种自动、多功能、与人类偏好相匹配的评估指标。

论文提出了使用GPT-4V生成评估提示的方法，然后使用这些提示来比较文本到3D模型。作者还设计了一种方法，指导GPT-4V根据用户定义的标准比较两个3D模型。最后，使用这些成对比较结果来为这些模型分配Elo等级。

论文的亮点包括使用GPT-4V生成评估提示、设计自动评估指标、与人类偏好相匹配、实验结果强烈与人类偏好相符、可适应不同评估标准。作者还提供了开源代码。

最近的相关研究包括：1. Learning to Generate 3D Shapes with Generative Adversarial Network (GAN)。2. 3D Shape Generation using Variational Autoencoder (VAE)。3. Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling。