Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction

多视图图像的场景重建是计算机视觉和图形学中的一个基本问题。最近，神经隐式表面重建方法已经取得了高质量的结果。然而，由于缺乏自然分解的物体实体和复杂的物体/背景组合，重建场景的三维几何的编辑和操作仍然具有挑战性。本文提出了一种名为Total-Decom的新方法，用于最小人工干预的分解三维重建。我们的方法将Segment Anything Model（SAM）与混合隐式-显式神经表面表示和基于网格的区域生长技术无缝集成，以实现准确的三维物体分解。Total-Decom需要最少的人工标注，同时为用户提供了对分解的粒度和质量的实时控制。我们在基准数据集上进行了广泛评估，并展示了其在动画和场景编辑等下游应用中的潜力。代码可在https://github.com/CVMI-Lab/Total-Decom.git上获得。

本文旨在解决多视图图像的场景重建问题，特别是在场景中存在多个物体以及复杂的物体/背景组合时，如何对场景进行分解和编辑的问题。

本文提出了一种名为Total-Decom的新方法，它将Segment Anything Model（SAM）与混合隐式-显式神经表面表示和基于网格的区域生长技术相结合，以实现准确的3D物体分解。Total-Decom需要最少的人类注释，并为用户提供了对分解的粒度和质量进行实时控制的功能。

本文的亮点包括：使用SAM进行物体识别，使用混合隐式-显式神经表面表示进行3D重建，使用基于网格的区域生长技术进行3D物体分解，实现了对场景进行分解和编辑的功能。作者在多个基准数据集上进行了广泛的评估，并展示了Total-Decom在动画和场景编辑等下游应用中的潜力。代码已经开源。

近期相关研究包括：Implicit Functions in Feature Space for 3D Shape Reconstruction和DeepSDF等。