Unreal Robotics Lab: A High-Fidelity Robotics Simulator with Advanced Physics and Rendering

高保真仿真对于机器人研究至关重要，能够安全高效地测试感知、控制和导航算法。然而，同时实现照片级真实感渲染与精确的物理建模仍是一项挑战。本文提出了一种新颖的仿真框架——虚幻机器人实验室（Unreal Robotics Lab, URL），该框架将虚幻引擎先进的渲染能力与MuJoCo高精度的物理仿真相结合。我们的方法在保持精确物理交互的同时，实现了逼真的机器人感知，有助于为基于视觉的机器人应用提供基准测试和数据集生成。该系统支持烟雾、火焰和水流动力学等复杂环境效应，这对于评估机器人在恶劣条件下的性能至关重要。我们在本框架内对视觉导航和SLAM方法进行了基准测试，验证了其在可控但多样化的场景中测试现实世界鲁棒性的实用价值。通过弥合物理精度与照片级真实感渲染之间的差距，我们的框架为推动机器人研究及仿真到现实的迁移提供了强有力的工具。本开源框架可在 https://unrealroboticslab.github.io/ 获取。

论文试图解决机器人仿真中物理精度与视觉真实感难以兼顾的问题。现有的仿真环境往往在高保真渲染和精确物理模拟之间存在权衡，导致视觉感知与实际交互行为之间的差距较大，限制了基于视觉的机器人算法（如导航、SLAM）的可靠测试和sim-to-real迁移效果。这个问题在需要复杂环境动态（如烟雾、火焰、水流）的真实场景评估中尤为突出。虽然已有研究尝试结合图形与物理引擎，但实现二者高效协同仍是一个具有挑战性的新问题。

提出一种名为Unreal Robotics Lab (URL) 的新型仿真框架，通过深度集成Unreal Engine的影视级渲染能力与MuJoCo的高精度物理引擎，实现物理准确性和视觉逼真度的统一。其关键创新在于构建了一个双向耦合架构，使得机器人在MuJoCo中进行精确动力学计算的同时，能在Unreal Engine中呈现包含复杂环境效应（如烟、火、水）的逼真视觉反馈，从而支持高质量的视觉感知训练与测试。相比以往工作，该方法在保真度与物理一致性上达到了新的平衡。

系统支持多种恶劣环境条件下的视觉导航与SLAM基准测试，实验设计覆盖了不同光照、遮挡和动态干扰场景；使用合成生成的数据对主流视觉算法进行了评估，验证了框架在鲁棒性分析中的有效性；项目已完全开源，代码和工具发布在https://unrealroboticslab.github.io/，便于社区复现与扩展；未来可进一步探索传感器建模、域随机化策略优化以及多智能体协作仿真等方向。

1. 'NVIDIA Isaac Sim: Accelerating Robotics Development with Synthetic Data', 2021 2. 'AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles', 2017 3. 'PyBullet: A Python Module for Physics Simulation in Robotics', 2016 4. 'Habitat: A Platform for Embodied AI Research', 2019 5. 'BridgeData: Scaling Robot Imitation Learning via Real-World Data Mixing', 2023