Robo-GS: A Physics Consistent Spatial-Temporal Model for Robotic Arm with Hybrid Representation

Real2Sim2Real在机械臂控制和强化学习中起着至关重要的作用，但由于机器人和它们操纵的物体的复杂物理属性，弥合这一差距仍然是一个重大挑战。现有的方法缺乏一个全面的解决方案，以准确重构具有空间表示和其相关物理属性的真实世界物体。我们提出了一个Real2Sim管道，其中包含一种混合表示模型，该模型集成了网格几何、3D高斯核和物理属性，以增强机械臂的数字资产表示。这种混合表示是通过一种高斯-网格-像素绑定技术实现的，该技术在网格顶点和高斯模型之间建立了同构映射。这使得可以通过数值求解器优化的完全可微渲染管道成为可能，通过高斯喷洒实现高保真渲染，并使用基于网格的方法促进机械臂与其环境的物理合理模拟。我们将在我们的网站https://robostudioapp.com上公开提供代码、完整演示和数据集。

Real2Sim2Real在机器人臂控制和强化学习中起着关键作用，但由于机器人和它们操纵的物体的复杂物理特性，弥合这一差距仍然是一个重大挑战。现有方法缺乏一个全面的解决方案，以准确重建具有空间表示和其相关物理属性的现实世界对象。

本文提出了一个Real2Sim管道，其中包含一种混合表示模型，该模型集成了网格几何、3D高斯核和物理属性，以增强机器人臂的数字资产表示。

本文通过高斯-网格-像素绑定技术实现了这种混合表示，该技术在网格顶点和高斯模型之间建立了同构映射。这使得可以通过数值求解器进行优化的完全可微渲染管道成为可能，通过高斯扩散实现高保真渲染，并使用基于网格的方法促进机器人臂与其环境的物理可信模拟。

最近在这个领域中，还有一些相关的研究，如《Sim2Real View Invariant Visual Servoing through Deep Reinforcement Learning》、《Real-time 3D Reconstruction and 6-DoF Tracking with an Event Camera》等。