GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation

尽管文本到3D生成方法近期有所进展，但是值得注意的是缺乏可靠的评估指标。现有的指标通常只关注单一标准，例如生成的资产与输入文本的对齐情况。这些指标缺乏灵活性，不能泛化到不同的评估标准，并且可能与人类偏好不一致。进行用户偏好研究是一种提供适应性和与人类偏好相符的选择，但是用户研究很难扩展。本文提出了一种自动、多功能和与人类偏好相符的文本到3D生成模型评估指标。为此，我们首先使用GPT-4V开发提示生成器，生成评估提示，作为比较文本到3D模型的输入。我们进一步设计了一种方法，指导GPT-4V根据用户定义的标准比较两个3D资产。最后，我们使用这些成对比较结果为这些模型分配Elo评分。实验结果表明，我们的指标在不同的评估标准下与人类偏好强烈一致。

开发一种自动、多功能且与人类喜好相关的文本到3D生成模型评估指标。

通过使用GPT-4V生成评估提示，设计一种方法来比较两个3D模型并根据用户定义的标准对其进行排名。

论文提出的评估指标与人类喜好强相关，实验结果表明其具有很高的灵活性和适应性。使用了GPT-4V生成评估提示，并设计了一种方法来进行两个3D模型的比较和排名。

最近的相关研究包括文本到3D生成模型的评估指标设计、基于GAN的3D模型生成、以及使用GPT进行文本生成等。