Integrating Meshes and 3D Gaussians for Indoor Scene Reconstruction with SAM Mask Guidance

我们提出了一种新颖的3D室内场景重建方法，将3D高斯喷洒（3DGS）与网格表示相结合。我们使用网格表示室内场景的房间布局，例如墙壁、天花板和地板，同时使用3D高斯喷洒表示其他物体。这种混合方法充分利用了两种表示的优势，提供了增强的灵活性和易于编辑性。然而，网格和3D高斯喷洒的联合训练具有挑战性，因为不清楚哪种基元应该影响渲染图像的哪个部分。靠近房间布局的物体在训练过程中经常会遇到困难，特别是当房间布局没有纹理时，这可能会导致不正确的优化和不必要的3D高斯喷洒。为了克服这些挑战，我们采用“任意分割模型”（SAM）来指导基元的选择。SAM掩码损失强制每个实例由高斯喷洒或网格表示，确保清晰分离和稳定训练。此外，我们引入了一个额外的增密阶段，在标准增密后不重置不透明度。这个阶段可以缓解标准增密后3D高斯喷洒数量有限导致的图像质量下降。

论文旨在解决3D室内场景重建中的一些挑战，如何同时使用网格和3D高斯表示法，以及如何有效地训练这种混合模型。

论文提出了一种使用Segment Anything Model（SAM）指导基元选择的混合表示法，以及一种额外的密集化阶段来提高图像质量。

论文的实验表明，这种混合表示法能够有效地重建复杂的室内场景，同时保持灵活性和易于编辑性。此外，论文提供了一个开源的数据集和代码库，以供研究人员使用。值得深入研究的是，如何进一步优化混合表示法的训练和推理速度。

在3D场景重建领域，还有一些相关的研究，如：DeepSDF，Occupancy Networks，Implicit Fields等。