Physical Property Understanding from Language-Embedded Feature Fields

这篇文章探讨了计算机是否能够仅通过视觉感知物体的物理属性。认知科学和视觉科学的研究表明，人类擅长根据视觉外观识别材料并估计它们的物理属性。本文提出了一种新颖的方法，使用图像集合对物体的物理属性进行密集预测。受到人类通过视觉推理物理的启发，我们利用大型语言模型为每个物体提出候选材料。然后，我们构建了一个嵌入语言的点云，并使用零样本核回归方法估计每个3D点的物理属性。我们的方法准确、无需注释，并适用于开放世界中的任何物体。实验表明，所提出的方法在各种物理属性推理任务中都非常有效，例如估计常见物体的质量以及其他属性，如摩擦和硬度。

论文旨在通过图像识别物体的物理属性，提出了一种新的方法，解决了该问题。

论文的关键思路是使用大型语言模型提出每个物体的候选材料，然后构建一个语言嵌入点云，并使用零样本核回归方法来估计每个3D点的物理属性。

该方法无需注释，适用于开放世界中的任何物体。实验结果表明，该方法在估计常见物体的质量以及其他属性（如摩擦力和硬度）等物理属性推理任务中非常有效。

最近的相关研究包括：《Material Recognition in the Wild with the Materials in Context Database》、《Deep Material Recognition Using Spatially Cross-Validated Local Binary Patterns》等。