OpenObj: Open-Vocabulary Object-Level Neural Radiance Fields with Fine-Grained Understanding

近年来，开放词汇三维场景重建受到了广泛关注，其中视觉语言模型（VLM）在开放集检索方面表现出了显著的能力。然而，现有方法存在一些局限性：它们要么专注于学习点特征，导致模糊的语义理解，要么仅仅处理对象级别的重建，从而忽略了对象内部的复杂细节。为了解决这些挑战，我们介绍了OpenObj，这是一种创新的方法，用于构建具有细粒度理解的开放词汇对象级别的神经辐射场（NeRF）。实质上，OpenObj建立了一个强大的框架，用于高效、无漏洞的场景建模和理解，达到了对象级别。此外，我们将部分特征纳入神经场中，使对象内部得到细致的表示。这种方法捕捉了对象级别的实例，同时保持了细粒度的理解。在多个数据集上的结果表明，OpenObj在零样本语义分割和检索任务中表现出优异的性能。此外，OpenObj支持多尺度的现实世界机器人任务，包括全局移动和局部操作。

解决问题：OpenObj试图解决点特征学习和物体级重建之间的平衡问题，以实现对物体内部细节的精细理解和建模。同时，论文还试图在零样本语义分割和检索任务中取得卓越的性能。

关键思路：OpenObj采用神经辐射场（NeRF）模型，结合部分级特征，实现了对物体级实例的建模，同时保持了对物体内部细节的精细理解。

其他亮点：OpenObj在多个数据集上的实验结果表明，它在零样本语义分割和检索任务中表现出卓越的性能。此外，OpenObj在全局移动和局部操作等多个尺度的真实世界机器人任务中表现出了良好的支持能力。

相关研究：在这个领域中，还有一些相关的研究，如NeRF，OpenVocabNeRF和GRAF等。