Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing

使用3D高斯基元素的场景表示在建模静态和动态3D场景的外观方面产生了出色的结果。然而，许多图形应用程序需要能够操纵物体的外观和物理属性。我们介绍了Feature Splatting，一种将基于物理的动态场景合成与由自然语言基础模型提供的丰富语义相结合的方法。我们的第一个贡献是一种方法，可以将高质量的面向对象的视觉语言特征提炼成3D高斯函数，从而使用文本查询进行半自动场景分解。我们的第二个贡献是一种方法，可以使用基于粒子的模拟器从静态场景中合成基于物理的动态，其中材料属性通过文本查询自动分配。我们在此流程中淘汰了关键技术，以说明使用携带特征的3D高斯函数作为外观、几何、材料属性和基于自然语言的语义的统一格式所面临的挑战和机遇。项目网站：https://feature-splatting.github.io/

论文旨在将物理属性和外观属性相结合，通过基于自然语言的视觉语言模型生成Feature Splatting方法，实现对静态和动态3D场景的语义建模和物理建模。该方法能够自动分解场景，并通过文本查询自动分配材料属性。

Feature Splatting方法将高质量的视觉语言特征转化为3D高斯函数，实现了外观、几何、材料属性和语义的统一格式，并通过基于粒子的模拟器实现了物理动态的合成。

论文提出了一种新的方法，将物理属性和外观属性相结合，实现了对静态和动态3D场景的语义建模和物理建模。通过基于自然语言的视觉语言模型，能够实现自动场景分解和材料属性分配。论文使用了多个数据集进行实验，并将代码开源。该方法的统一格式和自动化特点值得进一步研究。

相关研究包括：Scene Representation Networks、NeRF、GRAF等。