Reality Fusion: Robust Real-time Immersive Mobile Robot Teleoperation with Volumetric Visual Data Fusion

我们介绍了Reality Fusion，这是一种新颖的机器人远程操作系统，它将典型的机载深度传感器与以3D高斯斑点（3DGS）表示的复杂远程环境的照片般逼真、高分辨率、高帧率和广视野渲染进行定位、流式传输、投影和融合。我们的框架在沉浸式虚拟现实中实现了强大的自我中心和自我中心外机器人远程操作，3DGS有效地扩展了具有有限视野的深度传感器的空间信息，并平衡了数据流成本和数据视觉质量之间的权衡。我们通过24名参与者的用户研究评估了我们的框架，结果显示Reality Fusion能够显著提高用户表现、情境意识和用户偏好。为了支持进一步的研究和开发，我们提供了一个开源实现，其中包括易于复制的定制遥控机器人、高性能虚拟现实3DGS渲染器和沉浸式机器人控制包。（源代码：https://github.com/uhhhci/RealityFusion）

解决问题：本论文旨在解决机器人远程操作中存在的视野受限和数据传输质量不高的问题。

关键思路：论文提出了Reality Fusion框架，该框架通过将机器人上的深度传感器与高分辨率、高帧率、广视野的虚拟现实环境相结合，实现了机器人的远程操作。同时，该框架通过3D高斯点扩展了深度传感器的空间信息，平衡了数据传输成本和数据视觉质量之间的权衡。

亮点：论文通过24名参与者的用户研究，证明了Reality Fusion相比传统方法在用户表现、情境感知和用户偏好方面有显著提升。此外，论文提供了开源实现，包括自定义的远程控制机器人、高性能的虚拟现实3D渲染器和沉浸式机器人控制包。

相关研究：近期相关研究包括《Teleport: Teleoperation of robots using immersive virtual reality》和《RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation》。