VolleyBots: A Testbed for Multi-Drone Volleyball Game Combining Motion Control and Strategic Play

多智能体强化学习（MARL）已经取得了显著进展，这主要得益于专门测试平台的发展，这些平台能够在受控但具有挑战性的情境中系统地评估算法。然而，现有的测试平台通常专注于纯粹的虚拟模拟或有限的机器人形态，如机械臂、四足机器人和人形机器人，而像无人机这样的高机动性平台在现实世界中的物理约束条件下的研究则相对不足。为了弥补这一差距，我们推出了VolleyBots，这是一个新的MARL测试平台，在此平台上，多个无人机根据物理动力学合作和竞争进行排球运动。VolleyBots的特点是基于排球规则的回合制互动模式，结合了运动控制和战略玩法的分层决策过程，以及用于无缝模拟到真实世界转移的高保真度模拟。我们提供了一整套任务，从单个无人机的练习到多无人机的合作和竞争任务，并附有对代表性MARL和博弈论算法的基线评估。模拟结果显示，虽然现有算法在处理简单任务时效果良好，但在需要低级控制和高级策略的复杂任务中遇到了困难。我们进一步展示了将模拟中学到的策略直接应用于真实世界的无人机，突显了VolleyBots在推动涉及敏捷机器人平台的MARL研究方面的潜力。项目页面位于 https://sites.google.com/view/thu-volleybots/home。

该论文试图解决多智能体强化学习（MARL）领域中，针对高机动性平台如无人机的测试环境不足的问题。现有的测试环境大多集中在虚拟模拟或有限的机器人形态上，而忽略了具有真实物理约束的高机动性平台。这是一个相对新颖的问题，特别是在结合实际物理动态和复杂运动控制方面。

关键思路是引入VolleyBots，一个全新的MARL测试平台，使多个无人机能够在排球比赛中合作与竞争。VolleyBots的特点包括基于回合的互动模式、分层决策过程以及高保真度的模拟环境，以实现从模拟到现实的无缝转移。相比现有研究，VolleyBots不仅提供了更复杂的任务设置，还特别关注低级控制和高级策略的结合。

论文的亮点在于它提供了一系列从单无人机训练到多无人机协作与竞争的任务，并通过基线评估展示了当前算法在处理简单任务时的有效性和在复杂任务中的局限性。此外，论文成功实现了零样本部署，将模拟中学习到的策略直接应用于真实世界中的无人机，证明了其在推进涉及敏捷机器人平台的MARL研究方面的潜力。代码和数据集已开源，项目页面也已上线，方便后续研究者进一步探索。

最近在这个领域，一些相关的研究包括《Multi-Agent Deep Deterministic Policy Gradient for Edge Intelligence》、《Learning Cooperative Visual Manipulation through Multi-Agent Reinforcement Learning》等。这些研究主要集中在改进多智能体学习算法、提高仿真精度及探索不同类型的机器人应用，但较少涉及像VolleyBots这样结合高机动性平台和复杂物理动态的测试环境。