POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation

最近，多智能体强化学习（MARL）在解决各种环境下具有挑战性的合作和竞争多智能体问题方面表现出色，主要涉及少量代理和完全可观察性。此外，一系列重要的与机器人相关的任务，如多机器人导航和避障，通常采用经典的不可学习方法（例如启发式搜索），目前建议采用基于学习或混合方法来解决。然而，在这个领域中，由于缺乏支持学习和评估的统一框架，很难甚至不可能对经典、基于学习和混合方法进行公正比较。为此，我们介绍了POGEMA，一个包括快速学习环境、问题实例生成器、预定义问题集合、可视化工具包和允许自动评估的基准测试工具的全面工具集。我们介绍并说明了一个评估协议，该协议定义了一系列基于主要评估指标（如成功率和路径长度）计算的与领域相关的指标，允许公正的多重比较。我们呈现了这样一个比较的结果，其中涉及各种最先进的MARL、基于搜索和混合方法。

本论文旨在解决多智能体强化学习（MARL）领域中的问题，即缺乏一个统一的框架来支持学习和评估，从而导致难以进行公正的比较。

本文提出了一个名为POGEMA的综合工具集，包括一个快速的学习环境、问题实例生成器、可视化工具包和基准测试工具，允许进行自动化评估，从而促进了学习和评估的统一。

本文提出了一个评估协议，定义了一系列与领域相关的指标，以计算基本评估指标（如成功率和路径长度），从而进行公正的多次比较。实验涉及各种最先进的MARL、基于搜索的和混合方法。该工具集可以用于解决许多重要的机器人任务，如多机器人导航和障碍物避免。

最近的相关研究包括《Multi-agent Reinforcement Learning: An Overview》、《A Survey on Multi-Agent Reinforcement Learning》等。