Gaussian Grouping: Segment and Edit Anything in 3D Scenes

最近的高斯喷洒技术实现了高质量和实时的三维场景新视角综合。然而，它仅关注外观和几何建模，缺乏细粒度的对象级场景理解。为了解决这个问题，我们提出了高斯分组，它将高斯喷洒扩展到联合重建和分割开放世界三维场景中的任何物体。我们为每个高斯添加了一个紧凑的身份编码，使得高斯能够根据它们在三维场景中的对象实例或材料成员身份进行分组。我们通过利用SAM提供的二维掩码预测和引入的三维空间一致性正则化，在可微分渲染过程中监督身份编码。与隐式NeRF表示相比，我们展示了离散和分组的三维高斯可以高质量、细粒度和高效地重建、分割和编辑三维中的任何物体。基于高斯分组，我们进一步提出了一种本地高斯编辑方案，在包括三维物体去除、修补、着色和场景重组在内的多种场景编辑应用中显示出有效性。我们的代码和模型将在https://github.com/lkeab/gaussian-grouping 上公布。

论文试图通过扩展Gaussian Splatting来解决仅关注外观和几何建模而缺乏细粒度对象级别场景理解的问题。

论文提出了Gaussian Grouping，通过在每个高斯函数中增加紧凑的身份编码，使高斯函数能够根据其对象实例或场景成员身份进行分组，从而实现了对开放世界3D场景中任何物体的联合重建和分割。

论文使用SAM的2D掩模预测和引入的3D空间一致性正则化来监督身份编码的不同iable渲染。与NeRF表示相比，论文表明离散和分组的3D高斯函数可以高质量、细粒度和高效地重建、分割和编辑3D场景中的任何物体。此外，论文还提出了局部高斯编辑方案，在3D对象去除、修复、着色和场景重组等多种场景编辑应用中表现出有效性。

最近在这个领域中，还有一些相关的研究，例如：Implicit Functions for 3D Shape Reconstruction、NeRF: Representing Scenes as Neural Radiance Fields等。