Visual Episodic Memory-based Exploration

人类内在动机是开放式认知发展的重要机制，在机器人中，它已被证明对探索非常有价值。人类认知发展的一个重要方面是$\textit{情节记忆}$，它使得人们能够回忆过去的事件并投射出主观未来。本文探讨了使用视觉情节记忆作为机器人探索问题内在动机的方法。使用卷积循环神经网络自编码器，代理学习了一个有效的时空特征表示，只有在学习了时空特征后才能进行准确的序列预测。地面实况和自编码器生成的图像之间的结构相似性被用作内在动机信号来指导探索。我们提出的情节记忆模型也隐含地考虑了代理的行动，激励机器人寻求新的互动体验，而不仅仅是寻找外观不同的区域。在引导机器人探索时，我们提出的方法在发现动态异常方面优于好奇心驱动的变分自编码器(CVAE)。

探索机器人的内在动机问题，如何使用视觉情景记忆作为机器人探索问题的内在动机信号？

使用卷积递归神经网络自编码器学习视觉情景记忆，将地面真实图像和自编码器生成的图像的结构相似性作为内在动机信号来指导机器人探索新领域。

论文提出的视觉情景记忆模型不仅考虑了机器人的行动，还能够激励机器人寻求新的交互体验；实验中使用了卷积递归神经网络自编码器和多个数据集，证明了该方法在探索动态异常方面优于Curiosity-driven Variational Autoencoder (CVAE)；

相关论文：Curiosity-driven Exploration by Self-supervised Prediction (ICML 2017)；Unsupervised Learning for Physical Interaction through Video Prediction (NIPS 2016)；Playing for Data: Ground Truth from Computer Games (ECCV 2014)。