Agent3D-Zero: An Agent for Zero-shot 3D Understanding

本文介绍了一种名为Agent3D-Zero的创新型三维感知智能体框架，它能够以零样本的方式解决三维场景理解问题。当前的常见做法是使用三维数据和文本来微调大型语言模型，以实现对三维场景的理解。尽管这些方法很有效，但它们在可用三维数据的规模和多样性方面存在固有的局限性。相反，在本文中，我们提出了一种全新的思路，即将三维场景感知的挑战重新构思为从多个图像中理解和综合洞察力的过程，这受到了人类如何尝试理解三维场景的启发。通过巩固这个想法，我们提出了一种新颖的方法，通过积极选择和分析一系列视角来利用大型视觉语言模型（VLM）进行三维理解。具体而言，给定一个输入的三维场景，Agent3D-Zero首先使用自定义设计的视觉提示处理鸟瞰图像，然后迭代选择下一个视角来观察和总结底层知识。Agent3D-Zero的一个独特优势是引入了新颖的视觉提示，显著释放了VLM识别最具信息量视角的能力，从而促进了对三维场景的观察。大量实验证明了所提出的框架在理解各种不同和以前未见过的三维环境方面的有效性。

本文旨在提出一种新的方法，通过多角度观察和分析3D场景，实现对3D场景的零样本理解。

本文提出了一个名为Agent3D-Zero的框架，通过自定义的视觉提示和选择性观察多个视角的方式，利用大型视觉语言模型来实现对3D场景的理解。

本文的亮点在于引入了新颖的视觉提示，极大地释放了视觉语言模型的能力，从而有利于观察3D场景。实验结果表明，Agent3D-Zero在理解各种不同的3D场景方面具有很好的效果。

在这个领域中，最近的相关研究包括利用大型语言模型进行3D场景理解的研究，以及基于多视角图像的3D场景重建研究。其中，一些相关的论文包括《Learning to Reconstruct 3D Manhattan Wireframes from a Single Image》和《Generative Question Answering: Learning to Answer the Whole Question》等。