Leveraging Unknown Objects to Construct Labeled-Unlabeled Meta-Relationships for Zero-Shot Object Navigation

本文介绍了零样本物体导航（ZSON）的方法，该方法解决了智能体导航到未出现在训练集中的未知物体的情况。以往的研究主要使用已知标签的已见物体训练智能体，并忽略了没有标签的已见物体。本文将没有标签的已见物体引入训练过程中，称之为“未知物体”，以丰富智能体的知识库，并获得可区分但以前被忽视的信息。此外，本文提出了标签元相关性模块（LWMCM）来利用有标签和无标签物体之间的关系，获得增强的物体信息。特别地，我们提出了目标特征生成器（TFG）来生成未标记目标物体的特征表示。随后，未标记物体识别器（UOI）模块评估未标记目标物体是否出现在相机捕捉的当前观察帧中，并生成适应于观察上下文的自适应目标特征表示。在元对比特征修饰器（MCFM）中，目标特征通过接近观察帧内物体的特征而远离未观察到的物体的特征进行修改。最后，利用元物体图学习器（MOGL）模块基于特征计算物体之间的关系。在AI2THOR和RoboTHOR平台上进行的实验证明了我们提出的方法的有效性。

本论文旨在解决零样本物体导航（ZSON）中遇到的问题，即代理无法识别训练集中没有出现过的物体。

论文提出了利用无标签的已知物体（称为“未知物体”）来丰富代理的知识库，并提出了标签元相关模块（LWMCM）来利用有标签和无标签物体之间的关系，获得增强的物体信息。

论文使用AI2THOR和RoboTHOR平台进行实验，证明了所提出方法的有效性。论文还提出了目标特征生成器（TFG）、未标记目标物体识别器（UOI）、元对比特征修改器（MCFM）和元对象图学习器（MOGL）等模块。

最近的相关研究包括：1.《Zero-shot Visual Navigation using Multi-modal Transformers》；2.《Embodied Vision-and-Language Navigation with Dynamic Convolutional Filters》；3.《Learning to Learn How to Learn: Self-Adaptive Visual Navigation using Meta-Learning》等。