Continual Vision-and-Language Navigation

本文介绍了一种名为Continual Vision-and-Language Navigation (CVLN)的新方法，用于训练和评估能够在不断变化的真实世界中操作的Vision-and-Language Navigation (VLN)代理。现有的VLN代理训练方法假定数据集是固定的，这导致一个重要的限制：引入新环境需要重新训练以保留先前遇到的环境的知识。为了解决这个问题，作者提出了CVLN范式，并重新排列现有的VLN数据集提出了两个数据集：CVLN-I，专注于通过初始指令解释进行导航，以及CVLN-D，旨在通过与其他代理的对话进行导航。此外，作者提出了两种新的基于排练的CVLN方法：Perplexity Replay (PerpR)和Episodic Self-Replay (ESR)。PerpR根据动作困惑度优先重放具有挑战性的剧集，而ESR重放先前预测的动作logits以保留学习到的行为。作者通过大量实验展示了所提出方法在CVLN上的有效性。

论文旨在解决Vision-and-Language Navigation（VLN）代理在面对新环境时需要重新训练的问题，提出了Continual Vision-and-Language Navigation（CVLN）范式来评估通过持续学习过程训练的代理。

论文提出了两种基于回放的方法，Perplexity Replay（PerpR）和Episodic Self-Replay（ESR），用于CVLN代理的训练和评估。PerpR通过动作困惑度优先回放具有挑战性的情节，而ESR则回放先前预测的动作logits以保留学习的行为。

论文重新组织了现有的VLN数据集，提出了两个数据集：CVLN-I和CVLN-D。实验结果表明，提出的PerpR和ESR方法可以有效地提高CVLN代理的性能。

在最近的相关研究中，也有一些关于VLN代理的持续学习的研究，例如《Continual Learning for Visual Navigation using Hybrid Memory》。