Purpose for Open-Ended Learning Robots: A Computational Taxonomy, Definition, and Operationalisation

自主开放式学习（OEL）机器人能够通过与环境的直接交互，例如依赖内在动机和自我生成的目标来累积获得新的技能和知识。 OEL机器人对应用具有高度的相关性，因为它们可以使用自主获得的知识来完成与其人类用户相关的任务。然而，OEL机器人遇到一个重要的限制：这可能导致获取的知识与完成用户任务并不相关。本文分析了解决这个问题的可能方法，重点是“目的”这一新概念。目的指示设计师和/或用户从机器人中想要的内容。机器人应使用目的的内部表示，称为“欲望”，将其开放式探索的重点放在获取与完成目的相关的知识上。本文在目的方面为开发计算框架做出了两方面的贡献。首先，它基于三级动机层次结构形式化了一个目的框架，包括：（a）目的；（b）与领域无关的欲望；（c）特定领域相关的状态目标。其次，本文强调了框架中的关键挑战，例如“目的-欲望对齐问题”，“目的-目标基础问题”和“欲望之间的仲裁”。总体而言，这种方法使OEL机器人能够自主学习，但也能够专注于获取符合设计师和用户目的的目标和技能。

如何让OEL机器人学习到与用户任务相关的知识，而不是无关的知识？

通过引入概念“purpose”，即目的，让机器人能够自主学习并关注与设计者和用户目的相关的知识，从而解决OEL机器人学习无关知识的问题。

论文提出了一个基于三层动机层次结构的目的框架，包括目的、与领域无关的desires和领域相关的state-goals；同时，还探讨了框架中的关键问题，如“purpose-desire alignment problem”、“purpose-goal grounding problem”和“arbitration between desires”等。实验使用了模拟环境进行验证。

最近的相关研究包括：1.《Curiosity-driven Exploration by Self-supervised Prediction》；2.《Intrinsically Motivated Hierarchical Reinforcement Learning》；3.《Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research》等。