TTA-Nav: Test-time Adaptive Reconstruction for Point-Goal Navigation under Visual Corruptions

机器人在视觉干扰下的导航是一个巨大的挑战。为了解决这个问题，我们提出了一种名为TTA-Nav的测试时适应方法，用于视觉干扰下的点目标导航。我们的“即插即用”方法将自上而下的解码器与预训练的导航模型相结合。首先，预训练的导航模型获取一个受损图像并提取特征。其次，自上而下的解码器根据预训练模型提取的高级特征生成重构图像。然后，它将受损图像的重构图像反馈给预训练模型。最后，预训练模型再次进行前向传递以输出动作。尽管仅在干净图像上进行训练，但自上而下的解码器可以从受损图像中重构出更清晰的图像，而无需基于梯度的适应。我们的预训练导航模型与自上而下的解码器显著提高了我们基准测试中几乎所有视觉干扰的导航性能。我们的方法将点目标导航的成功率从最先进的结果46％提高到了最严重损坏的94％，这表明它在机器人视觉导航中具有广泛的应用潜力。项目页面：https://sites.google.com/view/tta-nav。

论文旨在解决机器人在受到视觉干扰时进行导航的问题。这是否是一个新问题？

论文提出了一种名为TTA-Nav的测试时间自适应方法，通过将自上而下的解码器与预训练的导航模型结合来解决点目标导航问题。该方法可以在不需要基于梯度的自适应的情况下，从受损图像中重建出更清晰的图像，并显著提高导航性能。

论文的实验结果表明，TTA-Nav方法可以将点目标导航的成功率从之前的46%提高到94%，在几乎所有视觉干扰情况下都能显著提高导航性能。论文还提供了项目页面和开源代码，值得进一步深入研究。

在这个领域中，最近的相关研究包括：1. Robust Navigation in Unfamiliar Environments Using a Semantic Memory Based SLAM System；2. Learning to Navigate in Cities Without a Map；3. Visual Navigation with Multi-View Stereo Reconstruction；4. Learning to Learn How to Learn: Self-Adaptive Visual Navigation Using Meta-Learning。