ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI

模拟技术已经实现了前所未有的可扩展机器人学习方法。然而，许多现有的模拟框架通常只支持一小部分场景/任务，并且缺乏对于扩展泛化机器人和从模拟到真实世界的关键功能。我们推出并开源了ManiSkill3，这是一个最快的状态视觉GPU并行机器人模拟器，具有接触丰富的物理特性，旨在实现泛化操作。ManiSkill3支持GPU并行化的许多方面，包括模拟+渲染、异构模拟、点云/体素视觉输入等。在ManiSkill3上进行渲染的模拟可以比其他平台快10-1000倍，并且GPU内存使用量少2-3倍，由于系统中的最小python/pytorch开销、GPU上的模拟以及SAPIEN并行渲染系统的使用，在基准环境中可以达到30,000+ FPS。以前需要几个小时才能训练的任务现在只需要几分钟。我们还提供了最全面的GPU并行化环境/任务范围，涵盖了12个不同的领域，包括但不限于移动操作（如绘画）、人形机器人和现实场景中的熟练操作，这些场景是由艺术家或真实世界的数字孪生设计的。此外，我们还提供了来自运动规划、强化学习和远程操作的数百万演示帧。ManiSkill3还提供了一套全面的基线，涵盖了流行的强化学习和从演示中学习的算法。

ManiSkill3旨在解决现有仿真框架支持的场景/任务范围狭窄、缺乏扩展性和泛化性等问题，提供一个快速的、支持GPU并行化的机器人模拟器。

ManiSkill3支持GPU并行化的多个方面，包括模拟+渲染、异构模拟、点云/体素视觉输入等，同时提供了广泛的GPU并行化环境/任务。

ManiSkill3可以以比其他平台快10-1000倍、GPU内存使用量少2-3倍的速度运行带渲染的仿真，实现了高达30,000+ FPS。同时，ManiSkill3提供了全面的基准测试和数百万个演示帧，以及跨越12个不同领域的环境/任务。

最近的相关研究包括SAPIEN、PyBullet等机器人仿真平台的研究。