Object Instance Retrieval in Assistive Robotics: Leveraging Fine-Tuned SimSiam with Multi-View Images Based on 3D Semantic Map

这段摘要介绍了日常生活中需要协助人类的机器人，需要在环境中定位与用户所需物品匹配的特定物品实例，这被称为特定实例图像目标导航（InstanceImageNav），需要一个能够区分同一类别中不同实例的模型。机器人领域中的一个重要挑战是，当机器人从不同的3D视角观察同一物品时，其外观可能会有很大差异，这使得准确识别和定位物品变得困难。本研究引入了一种方法SimView，它利用基于环境的3D语义地图和SimSiam的自监督学习来训练现场实例识别模型的多视角图像。我们使用由扫描真实家庭环境创建的逼真模拟器Habitat Matterport 3D验证了我们方法的有效性。我们的结果表明，在InstanceImageNav任务中，与预训练的用于物品搜索的多模态对比学习CLIP相比，我们的方法提高了1.7倍的任务准确度。这种改进突显了我们提出的微调方法在提高协助机器人性能方面的好处。该项目的网站为https://emergentsystemlabstudent.github.io/MultiViewRetrieve/.

论文试图提出一种解决机器人在Instance-Specific Image Goal Navigation（InstanceImageNav）任务中识别同类不同实例物体的方法。这是一个新问题。

论文提出了一种名为SimView的方法，通过基于环境的3D语义地图和SimSiam的自监督学习，利用多视角图像训练实例识别模型，并在现场进行微调。SimView方法在Habitat Matterport 3D模拟器上进行验证，相比于预训练的多模态对比学习模型CLIP，在InstanceImageNav任务中取得了1.7倍的性能提升。

SimView方法通过使用多视角图像和自监督学习，提高了机器人在InstanceImageNav任务中识别同类不同实例物体的能力。实验使用了Habitat Matterport 3D模拟器，并且在性能上相比于预训练的CLIP模型取得了显著的提升。论文提供了开源的代码和数据集。

最近的相关研究包括使用深度学习进行物体识别和场景理解，以及使用多视角图像进行目标检测和跟踪。相关论文包括“Deep Learning for Object Recognition”和“Multi-View Object Tracking with Occlusion Reasoning”。