Evaluating Real-World Robot Manipulation Policies in Simulation

机器人领域在通用机器人操作策略方面取得了重大进展。然而，这种策略的实际评估不具有可伸缩性，并且面临着可复制性的挑战，随着策略扩大其可以执行的任务范围，这些挑战可能会加剧。我们确定了真实环境和模拟环境之间的控制和视觉差异是可靠的模拟评估面临的关键挑战，并提出了方法来缓解这些差距，而不需要制作真实世界环境的完全数字孪生体。然后，我们采用这些方法创建了SIMPLER，这是一个用于在常见的真实机器人设置上评估操作策略的模拟环境集合。通过对模拟和真实环境下的操作策略进行成对的评估，我们展示了在SIMPLER环境中策略性能与真实世界中的策略性能之间的强相关性。此外，我们发现，SIMPLER评估准确反映了真实世界策略行为模式，如对各种分布偏移的敏感性。我们开源了所有SIMPLER环境以及我们创建新环境的工作流程，网址为https://simpler-env.github.io，以促进通用操作策略和模拟评估框架的研究。

论文旨在解决如何在模拟环境中可靠地评估通用机器人操作策略的问题，同时避免制作真实环境数字孪生的复杂性和困难。

通过减少真实环境和模拟环境之间的控制和视觉差异，提出了一种方法来创建用于通用机器人操作策略评估的模拟环境集合SIMPLER，并展示了在SIMPLER环境中评估的机器人操作策略与真实环境中的表现强相关的结果。

论文提出的SIMPLER环境集合可以用于评估通用机器人操作策略，并且与真实环境中的表现强相关。论文还开源了SIMPLER环境集合和创建新环境的工作流程，以促进通用机器人操作策略和模拟评估框架的研究。

在这个领域中，最近的相关研究包括《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》和《Learning Dexterous In-Hand Manipulation》等。