Indoor and Outdoor 3D Scene Graph Generation via Language-Enabled Spatial Ontologies

本文提出了一种在任意环境（室内和室外）中构建3D场景图的方法。这种扩展是具有挑战性的；描述室外环境的概念层次比室内更复杂，手动定义这样的层次耗时且不可扩展。此外，缺乏训练数据阻碍了在室外环境中应用室内设置中使用的基于学习的工具。为了解决这些挑战，我们提出了两个新的扩展。首先，我们开发了构建空间本体的方法，定义与室内和室外机器人操作相关的概念和关系。特别地，我们使用大型语言模型（LLM）来构建这样的本体，从而大大减少手动工作量。其次，我们利用空间本体来构建3D场景图，使用逻辑张量网络（LTN）添加逻辑规则或公理（例如，“海滩包含沙子”），在训练时提供额外的监督信号，从而减少了标记数据的需求，提供更好的预测，甚至可以预测在训练时未见过的概念。我们在各种数据集中测试了我们的方法，包括室内，乡村和海岸环境，并表明它可以显著提高3D场景图生成的质量，即使只有稀疏标注数据。

本文提出了一种在任意环境（室内和室外）中构建3D场景图的方法，旨在解决室外环境概念层次结构更复杂、手动定义耗时且不易扩展、缺乏训练数据等挑战。

本文提出了两个新颖的扩展方法：使用大型语言模型（LLM）构建空间本体论，使用逻辑张量网络（LTN）构建3D场景图，并添加逻辑规则，从而提供更好的预测和减少标注数据的需求。

本文在多个数据集中进行了测试，包括室内、农村和海滨环境，并展示了使用稀疏注释数据可以显著提高3D场景图生成的质量。

最近的相关研究包括《3D场景理解：从RGB-D图像中构建场景图》、《基于深度学习的3D场景图生成》等。