A Review of Nine Physics Engines for Reinforcement Learning Research

本文综述了在强化学习（RL）研究中常用的模拟引擎和框架，旨在为研究人员选择用于创建模拟物理环境和训练设置的工具提供指导。它评估了九个框架（Brax、Chrono、Gazebo、MuJoCo、ODE、PhysX、PyBullet、Webots和Unity），并基于它们的受欢迎程度、功能范围、质量、易用性和RL能力进行了评估。我们强调了选择和利用RL研究中的物理引擎所面临的挑战，包括需要进行详细的比较和了解每个框架的能力。主要发现表明，尽管存在易用性挑战，但MuJoCo是领先的框架，因为其性能和灵活性。Unity易于使用，但缺乏可扩展性和模拟保真度。该研究呼吁进一步开发以提高模拟引擎的易用性和性能，并强调RL研究中透明度和可重复性的重要性。本综述为RL社区提供了选择模拟引擎的过程的见解，促进了明智的决策。

评估强化学习中常用的仿真引擎和框架，以便研究人员选择适合的工具来创建仿真物理环境和训练设置。

评估了九个框架，包括Brax、Chrono、Gazebo、MuJoCo、ODE、PhysX、PyBullet、Webots和Unity，并比较它们的受欢迎程度、功能范围、质量、易用性和强化学习能力。结果表明，MuJoCo是领先的框架，尽管易用性存在挑战，但其性能和灵活性优异。Unity易于使用但缺乏可扩展性和仿真保真度。

该研究强调了选择和利用强化学习研究中的物理引擎的挑战，包括需要详细比较和了解每个框架的能力。此外，研究呼吁进一步开发，以改善仿真引擎的易用性和性能，并强调了透明度和可重复性在强化学习研究中的重要性。

最近的相关研究包括“Benchmarking Deep Reinforcement Learning for Continuous Control”，“A Survey on Deep Reinforcement Learning for Robotics: From Reinforcement Learning to Robotics”，“Deep Reinforcement Learning in Robotics: A Survey”等。