Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

交互式三维高斯分割为实时操作三维场景提供了巨大机会，这要归功于三维高斯点渲染的实时渲染能力。然而，当前的方法存在处理噪声分割输出所需的耗时后处理问题。此外，它们难以提供重要的细粒度三维场景精细分割。在本研究中，我们提出了Click-Gaussian，该方法学习了两个级别的可区分特征场，促进了无需耗时后处理的分割。我们深入探讨了由于从三维场景独立获得的二维分割产生的不一致学习特征场的挑战。当2D分割结果在视图间存在冲突时，这会导致3D分割准确性下降。为了克服这些问题，我们提出了全局特征引导学习（GFL）。GFL从视图间噪声2D分割构建全局特征候选簇，这在训练3D高斯特征时平滑噪声。我们的方法每次点击运行时间为10毫秒，比先前的方法快15到130倍，同时显著提高了分割准确性。我们的项目页面网址为https://seokhunchoi.github.io/Click-Gaussian。

本文旨在解决3D高斯分割的实时操作问题，同时提供更详细的分割结果，避免后处理的时间浪费，这是否是一个新问题？

文章提出了Click-Gaussian方法，通过学习两个层次的可区分特征场，实现了更快速的分割，同时使用全局特征引导学习来解决2D分割结果不一致的问题。

实验结果表明，Click-Gaussian方法每次点击只需要10毫秒，速度比之前的方法快15到130倍，同时分割准确率也得到了显著提高。该方法在处理细粒度的3D场景操作方面具有潜在应用价值。

最近的相关研究包括：'Real-time Interactive 3D Segmentation Using Few-Shot Learning'，'Real-time 3D Object Detection on Point Clouds Using Voxel Grids'，'Real-time 3D Reconstruction and 6-DoF Tracking with an Event Camera'等。