GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

多智能体学习算法在各种游戏中成功生成了超人类的规划，但对于部署的多智能体规划的设计影响很小。应用这些技术到多智能体规划的一个关键瓶颈是需要数十亿步的经验。为了使研究能够达到这个规模，我们提出了 GPUDrive，这是一个基于 Madrona 游戏引擎构建的 GPU 加速多智能体模拟器，每秒可以生成超过一百万步的经验。观察、奖励和动力学函数直接用 C++ 编写，允许用户定义复杂的、异构的智能体行为，这些行为被降低到高性能的 CUDA。我们展示了使用 GPUDrive，我们能够在 Waymo Motion 数据集的许多场景中有效地训练强化学习智能体，在几分钟内为单个场景生成高效的目标达成智能体，并在几小时内生成一般能力的智能体。我们将这些训练好的智能体作为代码库的一部分发布在 https://github.com/Emerge-Lab/gpudrive 上。

本论文旨在解决多智能体规划中的一个瓶颈，即需要大量的经验数据，以提高训练效果。同时，论文还试图通过构建GPU加速的多智能体模拟器来解决这个问题。

论文的关键思路是构建一个GPU加速的多智能体模拟器GPUDrive，该模拟器可以生成每秒超过一百万步的经验数据。同时，用户可以直接在C++中定义复杂的、异构的智能体行为，并将其转换为高性能的CUDA代码。

本论文的亮点包括：1.构建了一个GPU加速的多智能体模拟器GPUDrive，可以生成大量的经验数据；2.用户可以直接在C++中定义智能体行为，并将其转换为高性能的CUDA代码；3.实验表明，使用GPUDrive可以在Waymo Motion数据集中训练出高效的目标达成智能体，并在几分钟内为单个场景训练出高效的智能体。4.研究者已将训练出的智能体作为代码库的一部分开源。

在这个领域中，最近的相关研究包括：1.《Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms》；2.《Emergent Complexity via Multi-Agent Competition》；3.《Multi-Agent Reinforcement Learning with Communication》等。