FightLadder: A Benchmark for Competitive Multi-Agent Reinforcement Learning

最近强化学习（RL）的进展在很大程度上依赖于各种精心设计的基准测试，这些测试提供了环境平台和一致的标准来评估现有和新颖的算法。特别是在多智能体RL（MARL）中，基于合作游戏的大量基准测试推动了改进合作多智能体系统可扩展性的算法的发展。然而，在竞争环境下，尚未建立具有具有挑战性的游戏动态和视觉输入的轻量级开源基准测试。在这项工作中，我们提出了FightLadder，一个实时格斗游戏平台，以支持竞争性MARL研究。除了平台，我们还提供了用于竞争游戏的最先进的MARL算法的实现，以及一组评估指标来表征代理的性能和可利用性。我们通过训练一个一般代理，该代理在单人模式下持续击败12个内置角色，展示了这个平台的可行性，并揭示了在双人模式下训练一个不可利用代理而没有人类知识和演示的困难。FightLadder提供了精心设计的环境，以解决竞争性MARL研究中的关键挑战，旨在催生该领域的新发现和进步。视频和代码请访问https://sites.google.com/view/fightladder/home。

为了促进竞争性多智能体系统的发展，论文提出了一个轻量级、开源的竞技游戏平台FightLadder，旨在为竞争性多智能体系统的研究提供一个具有挑战性的环境和评估标准。

论文提出了FightLadder平台，该平台提供了适用于竞争性多智能体系统的环境和评估指标，并提供了最先进的竞争性多智能体算法的实现。通过使用该平台，论文展示了训练一个能够在单人模式下击败12个内置角色的普适型智能体的可行性，并揭示了在双人模式下训练一个无法被利用的智能体的困难程度。

该平台提供了逼真的游戏动态和视觉输入，以及专门设计的环境来解决竞争性多智能体系统研究中的关键挑战。论文还提供了实验设计和评估指标，以评估智能体的性能和可利用性。论文的代码和视频均已公开。

近年来，在多智能体系统领域，已经有许多基于合作游戏的基准测试，但是针对竞争性设置的轻量级和开源的基准测试仍未建立。