FightLadder: A Benchmark for Competitive Multi-Agent Reinforcement Learning

最近强化学习领域的进展在很大程度上依赖于各种精心设计的基准测试，这些测试提供了环境平台和一致的标准来评估现有和新颖的算法。特别是在多智能体强化学习（MARL）中，基于合作博弈的大量基准测试促进了改进合作多智能体系统可伸缩性的算法的发展。然而，在竞争环境中，一个具有挑战性游戏动态和视觉输入的轻量级开源基准测试尚未建立。在这项工作中，我们提出了FightLadder，一个实时格斗游戏平台，以推动竞争性MARL研究的发展。除了平台，我们还提供了针对竞争游戏的最先进MARL算法的实现，以及一组评估指标来表征代理的性能和可利用性。我们通过训练一个通用代理程序，该程序在单人模式下持续击败12个内置角色，并揭示了在双人模式下训练无法被利用的代理程序而不需要人类知识和演示的困难。FightLadder提供了精心设计的环境，以解决竞争性MARL研究中的关键挑战，旨在催生该领域的新发现和进步。视频和代码请访问https://sites.google.com/view/fightladder/home。

在竞争性多智能体环境中，缺乏一个轻量级且开源的基于视觉输入的挑战性游戏平台，来评估现有和新的算法的性能和可扩展性。

提出了一个名为FightLadder的实时格斗游戏平台，为竞争性多智能体研究提供了基础，并提供了竞争性游戏的最新算法实现和一组评估指标。

通过训练一个在单人模式下能够持续击败12个内置角色的普通智能体，展示了该平台的可行性，并揭示了在双人模式下训练非可利用智能体的困难性。

在合作式多智能体环境中，已经存在了许多基准测试，但在竞争性设置中，缺乏一个轻量级且开源的基于视觉输入的挑战性游戏平台。