RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator

高效获取现实世界中的实体数据变得越来越重要。然而，通过远程操作捕捉的大规模演示往往成本极高，并且无法以高效的方式扩大数据量。在模拟环境中采集团体是一种有前景的大规模收集方式，但现有的模拟器在纹理和物理建模方面无法实现高保真度。为了解决这些问题，我们引入了RoboGSim，这是一种基于3D高斯点绘和物理引擎的从真实到模拟再到真实的机器人模拟器。RoboGSim主要包括四个部分：高斯重构器、数字孪生构建器、场景合成器和交互引擎。它可以生成具有新视角、对象、轨迹和场景的模拟数据。RoboGSim还提供了一个在线、可复现且安全的平台，用于评估不同的操作策略。真实到模拟和模拟到真实的转移实验显示了在纹理和物理方面的一致性。此外，合成数据在实际操作任务中的有效性也得到了验证。我们希望RoboGSim能够作为一个闭环模拟器，用于政策学习的公平比较。更多信息可以在我们的项目页面上找到：[https://robogsim.github.io/](https://robogsim.github.io/)。

论文试图解决大规模真实世界机器人操作数据获取成本高且难以高效扩展的问题。这是一个在机器人学习和自动化领域长期存在的问题。

论文提出了一种名为RoboGSim的新型模拟器，通过结合3D高斯点绘技术和物理引擎，实现从真实到模拟再回到真实的闭环数据生成过程。这一方法不仅提高了数据合成的真实感，还提供了高效的数据生成方式。

RoboGSim包括四个主要部分：高斯重构器、数字孪生构建器、场景组合器和交互引擎，能够生成具有新颖视角、对象、轨迹和场景的模拟数据。论文通过实验证明了模拟数据与真实世界任务的高度一致性，并提供了在线、可重复和安全的策略评估环境。项目页面提供了更多详细信息，包括开源代码。

近年来，许多研究致力于提高模拟器的逼真度和效率，例如：1.《Learning Dexterous In-Hand Manipulation》提出了基于深度学习的灵巧手部操作；2.《Sim-to-Real Transfer of Robotic Skills with Dynamics Randomization》探讨了动态随机化在模拟到现实转移中的应用；3.《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》利用深度强化学习生成物理角色技能。RoboGSim在这些工作的基础上，进一步提升了纹理和物理建模的保真度。