【标题】A coevolutionary approach to deep multi-agent reinforcement learning

【作者团队】Daan Klijn, A.E. Eiben

【原文链接】https://arxiv.org/pdf/2104.05610.pdf

【DEMO链接】

【发表时间】2021.4.13

【推荐理由】本文介绍了一种深度协同进化方法，其将神经进化与进化计算领域的更传统的范式相结合，以解决复杂的多智能体问题。通过使用专家系统和遗传算法对多玩家Atari游戏的有效代理的协同求解，证明了该方法的有效性。并且两种协同进化算法在多个游戏中都优于Ape-X DQN算法。

传统上，深度人工神经网络（DNN）是通过梯度下降训练的。最近的研究表明，深度神经进化（DNE）还能够发展成千上万个参数的DNN，这在强化学习（RL）领域特别有用。这主要是由于与传统的基于MDP的RL方法相比，它具有出色的可扩展性和简单性。到目前为止，DNE仅适用于复杂的单一agent问题。由于进化方法是解决多智能体问题的自然选择，因此出现了一个问题，即DNE是否也可以应用于复杂的多智能体环境中。本文中描述并验证了一种基于协同进化的新方法。为验证该的方法，本文在一系列多智能体Atari游戏中对两种深度协同进化算法进行了基准测试，并将该方法的结果与Ape-X DQN的结果进行了比较。研究结果表明，深度协同进化算法可以成功地训练以玩各种游戏，且在某些方面优于Ape-X DQN，故表明协同进化可以作为复杂多agent决策问题的可行方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除