OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding

本文介绍了一种名为OpenGaussian的方法，它基于3D高斯扩散（3DGS）技术，能够实现三维点级别的开放词汇理解。我们的主要动机是观察到现有基于3DGS的开放词汇方法主要集中于二维像素级别的解析。这些方法在三维点级别任务中遇到困难，原因是特征表达能力不足和不准确的二维-三维特征关联。为了确保鲁棒的特征表现和三维点级别的理解，我们首先采用SAM蒙版而不是跨帧关联来训练具有三维一致性的实例特征。这些特征展现了物体内一致性和物体间区别性。然后，我们提出了一个两阶段的代码本，将这些特征从粗到细离散化。在粗糙的层面上，我们考虑了三维点的位置信息以实现基于位置的聚类，然后在精细的层面上进行了优化。最后，我们引入了一种实例级别的三维-二维特征关联方法，将三维点与二维掩模相连，这些掩模进一步与二维CLIP特征相关联。广泛的实验，包括基于开放词汇的三维物体选择、三维点云理解、基于点击的三维物体选择和消融研究，证明了我们提出的方法的有效性。项目页面：https://3d-aigc.github.io/OpenGaussian。

论文旨在提出一种基于3D高斯喷洒（3DGS）的OpenGaussian方法，能够实现3D点级别的开放词汇理解，解决现有3DGS方法主要集中在2D像素级解析的局限性。

论文的关键思路是使用SAM掩码训练具有3D一致性的实例特征，然后提出了一个两阶段的代码本来将这些特征从粗到细进行离散化，最后引入了一个实例级3D-2D特征关联方法将3D点链接到2D掩码，进而与2D CLIP特征相关联。

论文通过大量实验验证了OpenGaussian方法的有效性，包括基于开放词汇的3D对象选择、3D点云理解、基于点击的3D对象选择和消融研究。此外，论文还提供了项目页面和开源代码。

最近在这个领域中，还有一些相关的研究，例如PointNet、PointNet++、PointCNN等。