A Review of Nine Physics Engines for Reinforcement Learning Research

我们提供了一个流行的模拟引擎和框架的综述，这些引擎和框架用于强化学习（RL）研究，旨在指导研究人员选择用于创建RL和训练设置的模拟物理环境的工具。它基于受欢迎程度、功能范围、质量、易用性和RL功能，评估了九个框架（Brax、Chrono、Gazebo、MuJoCo、ODE、PhysX、PyBullet、Webots和Unity）。我们强调了选择和利用RL研究的物理引擎的挑战，包括需要详细比较和了解每个框架的能力。主要发现表明，由于其性能和灵活性，MuJoCo是领先的框架，尽管存在易用性挑战。Unity因其易用性而受到关注，但缺乏可扩展性和模拟保真度。该研究呼吁进一步开发以提高模拟引擎的易用性和性能，并强调RL研究中透明度和可重复性的重要性。这个综述为RL社区提供了选取模拟引擎的选择过程的见解，促进了知情决策。

评估强化学习中常用的仿真引擎和框架，为研究人员选择合适的工具提供指导。

评估了九个常用的仿真引擎和框架，包括MuJoCo、PyBullet、Unity等，从受欢迎程度、功能范围、质量、易用性和强化学习能力等方面进行了比较。结果表明MuJoCo是领先的框架，但易用性存在挑战。Unity易于使用但缺乏可扩展性和仿真保真度。

研究强调强化学习研究中透明度和可重复性的重要性，并呼吁进一步开发以改进仿真引擎的易用性和性能。此外，还提供了关于仿真引擎选择的洞见，以帮助研究人员做出明智的决策。

最近的相关研究主要集中在强化学习算法本身，如深度Q网络和策略梯度方法等。