RLeXplore: Accelerating Research in Intrinsically-Motivated Reinforcement Learning

外在奖励可以有效引导强化学习代理在特定任务中学习。然而，由于需要大量人力设计和注释，外在奖励在复杂环境中经常存在不足。这种限制强调了内在奖励的必要性，内在奖励提供辅助和密集的信号，可以使代理以无监督的方式学习。虽然已经提出了各种内在奖励的公式，但它们的实现和优化细节不够深入探讨和缺乏标准化，从而阻碍了研究进展。为了解决这个问题，我们介绍了RLeXplore，这是一个统一的、高度模块化的、即插即用的框架，提供了八种最先进的内在奖励算法的可靠实现。此外，我们进行了深入研究，确定了关键的实现细节，并建立了内在动机强化学习的合理标准实践。RLeXplore的源代码可在https://github.com/RLE-Foundation/RLeXplore上找到。

本论文旨在解决在复杂环境中设计和注释外在奖励所需的大量人力资源的问题，提出使用内在奖励来辅助强化学习代理的学习。

本论文引入了RLeXplore框架，提供了八种最先进的内在奖励算法的可靠实现，并进行了深入研究，建立了内在驱动RL的标准实践。

论文的亮点包括：1.提出使用内在奖励来辅助强化学习代理的学习；2.提出了RLeXplore框架，提供了八种最先进的内在奖励算法的可靠实现；3.进行了深入研究，建立了内在驱动RL的标准实践；4.开源代码可用于进一步研究。

最近的相关研究包括：1.《Curiosity-driven Exploration by Self-supervised Prediction》；2.《Unsupervised Predictive Memory in a Goal-Directed Agent》；3.《Playing hard exploration games by watching YouTube》等。