Behind the Veil: Enhanced Indoor 3D Scene Reconstruction with Occluded Surfaces Completion

本文提出了一种新颖的室内三维重建方法，具有遮挡表面完成功能，可以给定一系列深度读数。之前的最先进方法只关注场景中可见区域的重建，忽略了由于遮挡而不可见的区域，例如家具之间的接触表面、被遮挡的墙面和地面。我们的方法解决了完成遮挡场景表面的任务，从而得到完整的三维场景网格。我们方法的核心思想是从各种完整的场景中学习三维几何先验，以推断仅从深度测量中推断未见场景的遮挡几何。我们设计了一个粗细层次的八叉树表示，结合了双解码器结构，即Geo-decoder和3D Inpainter，共同重建完整的三维场景几何。Geo-decoder在细节层面上具有详细的表示，针对每个场景进行在线优化以重建可见表面。3D Inpainter在粗略层面上具有抽象的表示，使用各种场景进行离线训练，以完成遮挡表面。因此，虽然Geo-decoder专门用于单个场景，但3D Inpainter可以普遍适用于不同的场景。我们在3D Completed Room Scene（3D-CRS）和iTHOR数据集上评估了所提出的方法，在3D重建的完整性方面，性能显着优于最先进的方法，分别提高了16.8％和24.2％。3D-CRS数据集包括每个场景的完整三维网格，并在项目网页上提供。

本文提出了一种新的室内三维重建方法，能够处理遮挡表面，从而得到完整的三维场景网格。此前的方法只关注场景中可见的区域，忽略了由于遮挡而无法看到的区域，如家具之间的接触表面、被遮挡的墙壁和地板等。本文的方法旨在完成被遮挡的场景表面，从而得到完整的三维场景网格。

本文的核心思想是从多个完整场景中学习三维几何先验，以推断出仅通过深度测量无法观测到的未见场景的被遮挡几何。作者设计了一种粗细分层八叉树表示法，结合双解码器架构，即Geo-decoder和3D Inpainter，共同重建完整的三维场景几何。

本文的亮点包括：使用了3D Completed Room Scene和iTHOR数据集进行评估，并在完整性方面分别比最先进的方法提高了16.8%和24.2%；Geo-decoder专门用于单个场景的重建，而3D Inpainter则可以普遍适用于不同的场景；3D Completed Room Scene数据集包括每个场景的完整三维网格，并提供了项目网页的开源代码。

在这个领域中，最近的相关研究包括：《3D场景重建：一个综述》、《基于深度学习的室内场景重建：一个综述》、《基于深度学习的室内场景重建：一个综述和新的Perspective Transformer Net模型》等。