Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields

近年来，3D场景表示方法变得非常流行。使用神经辐射场的方法对于传统任务（如新颖视角合成）非常灵活。最近，出现了一些旨在将NeRF的功能扩展到除视角合成之外的语义感知任务（如使用从2D基础模型中提取的3D特征场进行编辑和分割）的工作。然而，这些方法有两个主要限制：（a）它们受到NeRF管道渲染速度的限制，（b）隐式表示的特征场会出现连续性伪影，降低特征质量。最近，3D高斯喷洒技术在实时辐射场渲染方面表现出了最先进的性能。在本研究中，我们更进一步：除了辐射场渲染外，我们还通过2D基础模型提取，使3D高斯喷洒技术能够对任意维度的语义特征进行喷洒。这种转换并不是简单的：直接将特征场纳入3DGS框架会导致翘曲级别的发散。我们提出了架构和训练方面的改进，以有效地避免这个问题。我们提出的方法是通用的，我们的实验展示了新颖的视角语义分割、语言引导编辑和通过学习SAM和CLIP-LSeg等最先进的2D基础模型的特征场来分割任何东西。在实验中，我们的蒸馏方法能够提供可比或更好的结果，同时训练和渲染速度显著更快。此外，据我们所知，我们是第一个通过利用SAM模型实现点和边界框提示进行辐射场操作的方法。项目网站：https://feature-3dgs.github.io/。

论文试图通过将2D基础模型的特征场提取到3D高斯喷洒中，解决NeRF渲染速度慢和特征质量不佳的问题。同时还提出了点和包围框提示的方法，使得可以对辐射场进行操作。

论文的关键思路是将2D基础模型的特征场提取到3D高斯喷洒中，并通过架构和训练的改变，解决由此导致的扭曲问题。通过这种方法，可以进行新视角语义分割、语言引导编辑和任何物体的分割等任务。

论文提出的方法在速度和渲染质量上都有很大的提升，同时还提出了点和包围框提示的方法，使得可以对辐射场进行操作。实验使用了SAM和CLIP-LSeg等2D基础模型，结果表明该方法在各项任务中都能提供可比较或更好的结果。

在最近的研究中，也有一些关于NeRF的扩展工作，如将其用于编辑和分割等任务。同时，最近的研究还探索了其他的辐射场渲染方法，如3D U-Net和DeepSDF等。