Learning Generalizable Feature Fields for Mobile Manipulation

移动机器人操作中的一个未解决问题是如何以统一的方式表示对象和场景，以便机器人可以在环境中导航和操作物体。后者需要捕捉复杂的几何形状，同时理解细粒度的语义，而前者涉及捕捉与广泛物理尺度相关的复杂性。在这项工作中，我们提出了GeFF（通用特征场），这是一种场景级可推广的神经特征场，可作为导航和操作的统一表示，并可实时执行。为此，我们将生成的新视图合成视为预训练任务，然后通过CLIP特征蒸馏将结果丰富的场景先验与自然语言对齐。我们通过在配备有操作器的四足机器人上部署GeFF来展示这种方法的有效性。我们评估了GeFF在动态场景中执行开放词汇移动操作时的运行时间和对开放集对象的泛化能力。

论文旨在解决移动操作中对象和场景的统一表示问题，以便机器人可以同时用于环境导航和物体操作。这是一个新问题。

论文提出了一种新的场景级通用的神经特征场GeFF，作为导航和操作的统一表示，并通过视角合成和CLIP特征蒸馏的预训练任务来实现。

论文在四足机器人上进行了实验，证明了GeFF在处理开放式物体、动态场景和实时性方面的有效性。论文还提供了开源代码和数据集。

最近的相关研究包括：《Neural Scene Graphs for Dynamic Scenes》、《Object-Oriented Navigation with Multitask Auxiliary Tasks》、《Learning to Learn How to Learn: Self-Adaptive Visual Navigation Using Meta-Learning》等。