RoboHop: Segment-based Topological Map Representation for Open-World Visual Navigation

地图对于空间推理、规划和机器人导航至关重要。现有的方法从度量上来看需要准确的基于几何优化，到纯拓扑上的，其中基于图像的节点缺乏明确的对象级推理和互连性。在本文中，我们提出了一种基于“图像分段”的环境拓扑表示方法，这些分段在语义上是有意义的，可以进行开放式词汇查询，相对于基于像素级特征的以前的工作具有多个优势。与3D场景图不同，我们创建了一个纯粹的拓扑图，其中分段作为节点，边缘通过a)在连续图像对之间关联分段级描述符和b)使用它们的像素重心连接图像内的相邻分段形成。这揭示了一个“连续的场所感”，定义了分段沿着它们的图像内邻居的图像间持久性。它进一步使我们能够通过邻域聚合使用图卷积层来表示和更新分段级描述符，从而改善基于分段级检索的机器人定位。使用真实世界的数据，我们展示了我们提出的地图表示方法如何用于i）生成“跳跃分段”形式的导航计划和ii）使用描述对象空间关系的自然语言查询搜索目标对象。此外，我们在分段级别上定量分析了数据关联，这是映射过程中图像间连接和重访相同位置时分段级别定位的基础。最后，我们展示了基于分段级“跳跃”的零样本实际导航的初步试验。项目页面附有补充细节：oravus.github.io/RoboHop/

本论文旨在提出一种基于图像分割的拓扑环境表示方法，以解决机器人导航和空间推理中的问题。与以往的基于像素级特征的方法不同，本方法可以提供更具语义的、可查询的节点表示。

本论文提出了一种基于图像分割的拓扑表示方法，其中图像分割作为节点，通过关联相邻图像的分割描述符和连接图像内相邻分割的像素中心来形成边缘。通过图卷积层聚合邻域信息，可以更新分割级描述符，从而提高机器人的本地化和检索能力。这种方法可以生成基于“跳跃”分割的导航计划，并使用自然语言查询搜索目标对象。

本论文使用真实数据进行实验，展示了该方法的应用，包括导航和目标搜索。此外，论文还对数据关联进行了定量分析，并展示了基于“跳跃”的零样本导航的初步试验。

最近的相关研究包括基于像素级特征的方法和基于3D场景图的方法。相关论文包括“Learning to Navigate Using Mid-Level Visual Priors”和“Neural Topological SLAM for Visual Navigation”。