SplatSim: Zero-Shot Sim2Real Transfer of RGB Manipulation Policies Using Gaussian Splatting

Sim2Real转移，特别是依赖于RGB图像的操作策略，由于合成和真实世界视觉数据之间的显著领域差异，仍然是机器人技术中的一个关键挑战。在本文中，我们提出了SplatSim，这是一个新颖的框架，利用高斯散点作为主要渲染原语，以减少基于RGB的操作策略的Sim2Real差距。通过在模拟器中用高斯散点替换传统的网格表示，SplatSim产生高度逼真的合成数据，同时保持模拟的可扩展性和成本效益。我们通过在SplatSim中训练操作策略并以零-shot方式在现实世界中部署它们，证明了我们框架的有效性，实现了平均成功率为86.25％，而在真实世界数据上训练的策略为97.5％。

解决问题：论文试图解决Sim2Real转移中RGB图像的领域差异导致的机器人操作问题，是否是一个新问题未知。

关键思路：论文提出了一种新的框架SplatSim，利用高斯喷洒作为主要渲染原语，通过在模拟器中使用高斯喷洒替换传统的网格表示，从而减少Sim2Real差距，同时保持模拟的可扩展性和成本效益，实现了在SplatSim中训练机器人操作策略，并以零-shot方式在现实世界中部署，取得了86.25%的平均成功率。

其他亮点：论文的实验结果表明，SplatSim框架非常有效，可以在保持成本效益和可扩展性的同时产生高度逼真的合成数据。论文还提供了开源代码和使用的数据集，这些工作值得进一步研究。

相关研究：在这个领域中，最近的相关研究包括：Domain Randomization、CycleGAN等。