R3DS: Reality-linked 3D Scenes for Panoramic Scene Understanding

我们介绍了Reality-linked 3D Scenes（R3DS）数据集，它是一组合成的3D场景，镜像了Matterport3D全景图中的真实世界场景布置。与以前的工作相比，R3DS具有更完整和密集的场景，并且物体与全景图中的真实观察结果相链接。R3DS还提供了一个对象支持层次结构，并为每个场景提供匹配的对象集（例如，围绕餐桌的相同椅子）。总体而言，R3DS包含19K个对象，由来自100多个对象类别的3,784个不同的CAD模型表示。我们展示了R3DS在全景场景理解任务中的有效性。我们发现：1）在R3DS上进行训练可以实现更好的泛化；2）在R3DS上训练的支持关系预测比启发式计算的支持关系预测性能更好；3）R3DS为未来的全景场景理解工作提供了一个具有挑战性的基准。

论文旨在解决全景场景理解问题，提出了一个新的数据集R3DS，用于训练和评估全景场景理解模型。

该论文的主要思路是使用新的数据集R3DS，该数据集包含与真实场景相似的完整和密集的3D场景，其中的物体与全景图像中的真实观察相联系，同时提供了物体支撑层次结构和匹配的物体集。使用R3DS进行训练可以提高模型的泛化能力和支撑关系预测的准确性。

论文提供了一个新的数据集R3DS，包含19K个物体和超过100个物体类别，同时提供了物体支撑层次结构和匹配的物体集。实验表明，使用R3DS进行训练可以提高模型的泛化能力和支撑关系预测的准确性。该数据集为全景场景理解领域提供了一个具有挑战性的基准。论文使用了Matterport3D全景图像数据集和3D CAD模型库，并提供了开源代码。

在全景场景理解领域，最近的相关研究包括：1）使用深度学习模型对全景图像进行分类和分割；2）使用全景图像进行物体检测和识别；3）使用全景图像进行场景重建和导航。相关论文包括：“Learning to Parse Wireframes in 3D Scenes”，“PanoNet: Real-time Panorama Tracking and Interactive Mapping”，“Semantic Scene Completion from a Single Depth Image”等。