LangSplat: 3D Language Gaussian Splatting

本文介绍了LangSplat，它构建了一个3D语言场，支持在3D空间内进行精确和高效的开放式语言查询。与现有的方法不同，LangSplat利用一组3D高斯函数来表示语言场，每个高斯函数都包含从CLIP中提取出的语言特征，从而避免了NeRF模型中昂贵的渲染过程。LangSplat首先训练一个场景语言自编码器，然后在场景特定的潜在空间中学习语言特征，从而减轻了显式建模所带来的大量内存需求。我们深入探讨了现有方法在不精确和模糊的3D语言场中的困境，并提出使用SAM学习分层语义，从而消除了在不同尺度上对语言场进行广泛查询和DINO特征的规范化的需要。大量实验表明，LangSplat在开放式词汇的3D物体定位和语义分割方面显著优于之前的最先进方法LERF。值得注意的是，LangSplat非常高效，在分辨率为1440×1080时，与LERF相比，速度提高了{\speed}倍。我们强烈建议读者查看我们在https://langsplat.github.io上的视频结果。

LangSplat论文旨在构建一个3D语言场，以支持在3D空间中进行开放式语言查询。这是一个新问题。

LangSplat通过使用一组3D高斯函数来表示语言场，从而实现了精确且高效的开放式词汇查询。相比于现有的方法，LangSplat采用了基于瓦片的喷洒技术来渲染语言特征，绕过了NeRF模型中固有的昂贵渲染过程。此外，LangSplat通过使用场景特定的潜在空间来学习语言特征，从而避免了显式建模所带来的大量内存需求。

论文的实验结果表明，LangSplat在开放式词汇的3D物体定位和语义分割方面显著优于之前的最先进方法LERF。此外，LangSplat非常高效，与LERF相比，在分辨率为1440×1080时实现了速度的提高。此外，LangSplat的代码已经开源，并且作者提供了视频结果以供查看。

在这个领域中，最近的相关研究包括NeRF，LERF和DINO。