Online Continual Learning For Interactive Instruction Following Agents

本文探讨了一个具有行为能力的智能体通过语言指令执行日常任务的学习过程。现有文献普遍假设该智能体在开始学习时就已经获得了所有训练数据。然而，我们认为这种学习场景不够真实，因为机器人智能体应该在不断探索和感知世界的同时不断学习。为了更贴近真实的智能体学习场景，我们提出了两种连续学习设置：学习新行为（行为增量学习，Behavior-IL）和学习新环境（环境增量学习，Environment-IL）。对于任务，先前的“数据先验”连续学习方法保留了过去任务的 logits，但存储的信息通常是不充分的学习信息，并且需要任务边界信息，这可能并不总是可用的。因此，我们提出了一种名为置信度感知移动平均（CAMA）的方法，在训练期间（即无任务）基于置信度分数而不是任务边界信息来更新它们。在我们提出的行为增量学习和环境增量学习设置中，我们简单的 CAMA 方法在经验验证中表现优于先前的最先进方法。该项目的页面包括代码，网址为 https://github.com/snumprlab/cl-alfred。

论文提出了两种连续学习设置，Behavior-IL和Environment-IL，以更加真实地模拟机器人在探索和感知世界时不断学习的情景。同时，论文提出了一种名为CAMA的方法，用于在训练过程中基于置信度分数更新存储的信息，以提高连续学习的效果。

论文的关键思路是提出了Behavior-IL和Environment-IL两种连续学习设置，以及CAMA方法，用于更新存储的信息。这些方法在实验中表现出色，比之前的方法有着更好的效果。

论文的实验表明，提出的Behavior-IL和Environment-IL两种连续学习设置以及CAMA方法可以有效地提高机器人在不断学习过程中的性能表现。此外，论文还开源了代码，方便其他研究者进行进一步的探索和研究。

在该领域的相关研究中，有一些研究也关注于机器人的连续学习问题，例如《Continual Learning for Robotics: Definition, Framework, and Review》、《Continual Learning for Robotics through Sensorimotor Embeddings》等。