OMEGAS: Object Mesh Extraction from Large Scenes Guided by Gaussian Segmentation

最近，3D重建技术的进步为复杂3D场景的高质量实时渲染铺平了道路。尽管取得了这些成就，但一个显著的挑战仍然存在：从大场景中精确重建特定对象很困难。当前的场景重建技术经常导致丢失对象细节纹理，并且无法重建在视图中被遮挡或看不见的对象部分。为了解决这个挑战，我们深入研究了大场景中特定对象的细致3D重建，并提出了一个名为OMEGAS的框架：由高斯分割引导的大场景中的物体网格提取。OMEGAS采用了一个多步骤的方法，基于几种优秀的现成方法。具体而言，首先，我们利用Segment Anything Model (SAM)来指导3D高斯喷洒(3DGS)的分割，从而创建目标对象的基本3DGS模型。然后，我们利用大规模扩散先验来进一步细化3DGS模型的细节，特别是针对原始场景视图中不可见或被遮挡的对象部分。随后，通过将3DGS模型重新渲染到场景视图中，我们实现了准确的对象分割并有效地去除了背景。最后，这些仅目标图像被用来进一步改进3DGS模型，并通过SuGaR模型提取确定性的3D对象网格。在各种场景下，我们的实验表明，OMEGAS明显优于现有的场景重建方法。我们的项目页面在：https://github.com/CrystalWlz/OMEGAS。

本论文旨在解决场景重建技术中难以精确重建特定物体的问题，尤其是在处理遮挡或不可见部分时。

本文提出了一种名为OMEGAS的框架，通过引入多步骤方法，利用Segment Anything Model (SAM)和3D Gaussian Splatting (3DGS)等先进技术，实现了对特定物体的精细重建。

本文的实验结果表明，OMEGAS框架在场景重建方面显著优于现有的方法。此外，作者还提供了开源代码和数据集，并指出未来可以将该框架应用于更广泛的场景中。

近年来，场景重建领域涌现出许多相关研究，例如《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》和《Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images》等。