DeepMind｜定义持续强化学习

定义持续强化学习

动机：传统的强化学习研究通常聚焦于学习解决问题的智能体，而非无尽学习的代理，这个观点在标准强化学习中已经深深地根植。然而，也许我们应该考虑将学习视为无尽的适应，而非寻找一个解决方案，这就引出了持续强化学习(CRL)的问题。但是，尽管CRL很重要，社区仍然缺乏对这个问题的清晰、通用的定义，因此，需要开发这样的定义，以促进基于清晰概念基础上的CRL研究，并指导理解和设计持续学习智能体。

方法：通过引入"生成和到达"操作符，可以将每个智能体理解为在行为集合上进行隐式搜索，并将CRL定义为所有最好的智能体都永远不停止其隐式搜索的RL问题实例。同时，通过两个激励的CRL示例，证明了传统的多任务RL和持续监督学习是本文定义的特殊情况。

优势：这个定义、观察和结果形式化了许多持续学习的直观概念，并开辟了围绕持续学习智能体的新的研究途径。