FastLGS: Speeding up Language Embedded Gaussians with Feature Grid Mapping

本文介绍了一种名为FastLGS的方法，支持在高分辨率下实现3D高斯喷洒（3DGS）中的实时开放词汇查询。为了在辐射场中实现高质量、高效率和零样本能力，我们提出了语义特征网格，保存基于Segment Anything Model (SAM)掩模提取的多视角CLIP特征，并通过3DGS将网格映射到低维特征，用于语义场训练。一旦训练完成，我们可以通过特征网格从渲染特征中恢复像素对齐的CLIP嵌入，以进行开放词汇查询。与其他最先进的方法进行比较，FastLGS在速度和准确性方面均取得了第一名的表现，其中FastLGS比LERF快98倍，比LangSplat快4倍。同时，实验表明FastLGS适应性强，与许多下游任务兼容，如3D分割和3D对象修复，可轻松应用于其他3D操作系统。

FastLGS论文旨在解决在3D场景理解应用中，如何同时实现高质量、高效率和零样本能力的问题。

FastLGS的关键思路是使用语义特征网格来保存基于SAM掩模提取的多视角CLIP特征，并通过3DGS将网格映射到低维特征进行语义场训练。一旦训练完成，我们可以通过特征网格从渲染特征中恢复像素对齐的CLIP嵌入以进行开放式词汇查询。

FastLGS可以实现速度和准确性方面的最佳表现，比LERF快98倍，比LangSplat快4倍。FastLGS适应性强，可与许多下游任务兼容，例如3D分割和3D对象修复。论文使用的数据集有哪些，是否开源代码并且哪些工作值得进一步研究。

与FastLGS相关的研究包括LERF和LangSplat。此外，最近还有其他一些基于3D场景理解的研究，例如Occupancy Networks和DeepSDF。