2018 年 Anderson 等人提出了视觉语言导航（Vision-and-Language Navigation，VLN）任务和对应的基准数据集（Room-to-Room Dataset）。该任务旨在探究智能体是否能在仿真模拟环境中遵循自然语言指令，因此可以形式化的评估智能体是否具有跨模态的理解能力。先前的工作取得了长足的进步，然而少有工作专注于探究智能体是否充分学习了数据中的信息，或者说，智能体是一个好学生吗？在计算机视觉领域，Hlynsson 等人试图通过衡量数据效率来回答这个问题。具体而言，该工作将模型性能作为数据集大小的函数，并衡量在不同规模数据集上模型的性能。在视觉语言导航领域，Huang 等人开发了基于神经网络的数据鉴别器（discriminator），可以过滤低质量的指令路径对以提升智能体的学习效率。而在本文中，我们试图回答：能否在不更改模型结构和不修改数据的情况下进一步提升智能体？

我们监控了智能体在导航过程中所犯的第一个错误，并在下图中展示了不同错误的比率。我们发现当智能体导航失败时，大约 50% 的错误是由代理错误地预测下一个室内方向引起的。此类错误的比例随着导航任务跨越更多房间而降低，但仍保持在一个较高水平。这些现象表明导航智能体受限于它在一个房间内和两个房间之间导航的能力。因此，我们认为传统学习过程使得智能体不能充分地学习数据中的信息，采用类似范式进行训练的导航智能体很可能被低估了。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除