The Cell Must Go On: Agar.io for Continual Reinforcement Learning

持续强化学习（RL）关注的是那些需要不断学习的智能体，而不是收敛到一个固定的策略后用于评估。这种方法非常适合于智能体感知为动态变化的环境，因为任何静态策略在这样的环境中都会随着时间变得无效。目前，专门为持续强化学习设计的模拟器通常在范围或复杂性上有所限制，而研究者们现在普遍通过在交互过程中人为引入任务的突然变化来修改分段式（episodic）强化学习环境。在本文中，我们介绍了AgarCL，这是一个专为持续强化学习设计的研究平台，能够支持从简单到复杂的逐步行为进化。AgarCL基于游戏Agar.io，这是一个非分段式的、高维度的问题，具有随机性和不断演变的动力学特性、连续动作空间以及部分可观测性。此外，我们还提供了基准测试结果，报告了DQN、PPO和SAC算法在主要的、具有挑战性的持续强化学习问题中的表现，同时也针对AgarCL内的一系列小型任务进行了评估。这些任务分别隔离了完整环境的不同方面，使我们能够更具体地分析游戏中不同特性的挑战所在。

论文试图解决持续强化学习（Continual Reinforcement Learning, Continual RL）中的关键问题，即如何让智能体在动态变化的环境中不断适应和学习，而不是收敛到固定的策略。这是一个相对较新的研究方向，特别是在高维、非确定性和部分可观测的环境中。

论文提出了AgarCL，一个基于Agar.io游戏的持续RL研究平台。该平台具有非回合制、高维度、随机演化动态、连续动作空间和部分可观测性等特点，能够模拟复杂的持续学习场景。与现有方法相比，AgarCL提供了一个更贴近实际动态环境的测试床，并通过一系列子任务分解了完整环境的挑战，便于分析不同算法的表现。

论文设计了一系列实验来评估DQN、PPO和SAC等流行算法在AgarCL上的表现，既包括完整的持续RL问题，也涉及隔离特定环境特性的子任务。此外，AgarCL作为一个开源平台，为未来的研究提供了丰富的可能性。值得关注的是，作者详细分析了持续RL中面临的挑战，如任务切换、策略过时和灾难性遗忘等问题，这为后续工作指明了方向。

近期相关研究包括：1) 'Never Give Up: Learning Directed Exploration Strategies'，探索了在复杂环境中结合多种探索策略的方法；2) 'Continual Reinforcement Learning with Complex Synthesized Tasks'，提出了一种合成任务生成器以模拟持续学习场景；3) 'Episodic Memory in Lifelong Learning Agents'，研究了如何利用表征学习和记忆机制缓解灾难性遗忘。这些研究共同推动了持续RL的发展，而AgarCL则为这一领域提供了一个新的基准测试平台。