ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration

闭环仿真对于端到端自动驾驶至关重要。现有的传感器仿真方法（例如NeRF和3DGS）基于与训练数据分布非常接近的条件重建驾驶场景。然而，这些方法在渲染新的轨迹时遇到困难，例如车道变换。最近的研究表明，整合世界模型知识可以缓解这些问题。尽管这些方法效率较高，但在更复杂的操作（如多车道变换）的精确表示方面仍存在困难。因此，我们引入了ReconDreamer，通过逐步整合世界模型知识来增强驾驶场景的重建。具体来说，提出了DriveRestorer以在线恢复的方式减轻伪影。此外，还设计了一种渐进的数据更新策略，确保复杂操作的高质量渲染。据我们所知，ReconDreamer是首个能够有效渲染大操作的方法。实验结果表明，ReconDreamer在NTA-IoU、NTL-IoU和FID指标上优于Street Gaussians，相对改进分别为24.87%、6.72%和29.97%。此外，在大操作渲染中，ReconDreamer在NTA-IoU指标上的相对改进为195.87%，并且通过全面的用户研究验证，ReconDreamer超过了结合PVG的DriveDreamer4D。

该论文旨在解决现有传感器模拟方法在渲染新型轨迹，尤其是多车道变换等复杂操作时遇到的困难。这是一个相对新颖的问题，因为随着自动驾驶技术的发展，对更复杂驾驶场景的准确模拟变得越来越重要。

论文提出了ReconDreamer，通过逐步整合世界模型知识来增强驾驶场景的重建。特别地，引入了DriveRestorer以在线恢复方式减少伪影，并采用渐进式数据更新策略确保高质量渲染。这一方法在处理大范围机动时表现出色，是首个有效渲染大规模机动的方法。

实验结果显示ReconDreamer在NTA-IoU、NTL-IoU和FID指标上分别比Street Gaussians提高了24.87%、6.72%和29.97%，并在大范围机动渲染中比DriveDreamer4D与PVG的组合提高了195.87%的NTA-IoU。此外，还进行了全面的用户研究。论文未提及数据集细节或代码开源情况，但这些复杂机动的高精度模拟为未来研究提供了新的方向。

近期相关研究包括：1. 'NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis'，探讨了基于神经辐射场的场景表示；2. '3D Gaussian Splatting for Real-Time Radiance Field Rendering'，提出了一种实时辐射场渲染方法；3. 'DriveDreamer4D: Dynamic Scene Synthesis for Autonomous Driving'，专注于动态场景合成；4. 'Street Gaussians: Probabilistic Scene Representation for Autonomous Driving'，引入了概率场景表示方法。