ReconDreamer++: Harmonizing Generative and Reconstructive Models for Driving Scene Representation

将重建模型与生成模型相结合，已成为自动驾驶领域闭环仿真的一种有前景的范式。例如，ReconDreamer 在渲染大规模机动动作方面展示了显著的成功。然而，生成的数据与真实世界传感器观测之间仍然存在显著差距，尤其是在结构化元素（如地面）的保真度方面。为了解决这些挑战，我们提出了 ReconDreamer++，这是一个增强框架，通过缩小域差距以及优化地面表示，大幅提升了整体渲染质量。具体来说，ReconDreamer++ 引入了新型轨迹可变形网络（NTDNet），该网络利用可学习的空间变形机制，弥合合成新视角与原始传感器观测之间的域差距。此外，对于地面等结构化元素，我们在 3D 高斯模型中保留了几何先验知识，并在优化过程中专注于改进外观属性，同时保持底层几何结构的完整性。我们在多个数据集（Waymo、nuScenes、PandaSet 和 EUVS）上进行的实验评估证实了 ReconDreamer++ 的优越性能。特别是在 Waymo 数据集上，ReconDreamer++ 在原始轨迹上的表现可与 Street Gaussians 相媲美，而在新轨迹上的表现则显著优于 ReconDreamer。具体而言，ReconDreamer++ 实现了多项重大改进，包括 NTA-IoU 提升 6.1%，FID 改善 23.0%，以及地面指标 NTL-IoU 提高 4.5%，充分证明了其在准确重建道路表面等结构化元素方面的有效性。

该论文试图解决在自动驾驶领域中，生成模型与重建模型结合时存在的领域差距问题，特别是生成数据与真实传感器观测之间的差异，尤其是在地面结构等细节上的保真度不足。这是一个长期存在的挑战，但随着ReconDreamer的成功，进一步优化这一问题变得尤为重要。

论文提出了一种名为ReconDreamer++的增强框架，引入了Novel Trajectory Deformable Network (NTDNet) 来通过可学习的空间变形机制缩小合成视图与原始传感器观测之间的领域差距。此外，它还利用3D高斯表示来保留几何先验知识，并在优化过程中专注于改进外观属性而不破坏底层几何结构。这种方法相比现有技术（如ReconDreamer）具有更高的保真度和更好的泛化能力。

实验设计涵盖了多个知名数据集（Waymo、nuScenes、PandaSet 和 EUVS），验证了ReconDreamer++在多种场景下的优越性能。特别是在Waymo数据集上，新方法不仅在原始轨迹上表现接近Street Gaussians，还在新型轨迹上显著超越ReconDreamer。具体指标包括6.1%的NTA-IoU提升、23.0%的FID改进以及4.5%的NTL-IoU提升。目前尚未提及代码开源情况，但未来可以探索更多复杂环境下的应用及优化。

近期相关研究包括Street Gaussians（用于道路建模的高效表示）、ReconDreamer（结合生成与重建模型的基础框架）以及其他关于自动驾驶模拟的研究，例如NeRF-based driving simulation和Trajectory Prediction with Generative Models。这些工作主要集中在如何更真实地模拟驾驶环境以及提高生成模型的泛化能力。