Gaga: Group Any Gaussians via 3D-aware Memory Bank

我们介绍了Gaga框架，它通过利用零样本分割模型预测的不一致的2D掩码，重建和分割开放式3D场景。与先前严重依赖视频物体跟踪的3D场景分割方法相比，Gaga利用空间信息，有效地将对象掩码关联到不同的相机姿态上。通过消除训练图像中连续视角变化的假设，Gaga表现出对相机姿态变化的鲁棒性，特别是对于稀疏采样的图像，确保了精确的掩码标签一致性。此外，Gaga适应来自不同来源的2D分割掩码，并展示了与不同开放式零样本分割模型的强大性能，增强了其多功能性。广泛的定性和定量评估表明，Gaga表现优于最先进的方法，强调了其在场景理解和操作等实际应用中的潜力。

本论文旨在通过利用零样本分割模型预测的不一致的2D掩模来重建和分割开放式3D场景。相比之前的3D场景分割方法，该方法不依赖于视频对象跟踪，而是利用空间信息并有效地将对象掩模关联到不同的相机姿态上。

本文的关键思路是利用2D掩模来重建和分割开放式3D场景，并消除了训练图像中连续视角变化的假设，从而提高了对相机姿态变化的鲁棒性，特别是对于稀疏采样的图像，确保了精确的掩模标签一致性。

本文的亮点包括：1.利用2D掩模来重建和分割开放式3D场景，提高了对相机姿态变化的鲁棒性；2.适应不同来源的2D分割掩模，并通过使用不同的零样本分割模型来展示其鲁棒性和多功能性；3.在大量的定性和定量评估中，Gaga表现出与最先进的方法相当的优秀性能，强调了其在实际应用（如场景理解和操作）中的潜力。

在这个领域中，最近的相关研究包括：1.《3D场景重建和分割的深度学习方法》；2.《基于深度学习的3D场景分割方法综述》；3.《基于视觉几何和深度学习的多相机3D场景重建方法》等。