FlexDrive: Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering

使用3D高斯点绘技术，驾驶场景的重建和渲染已经取得了显著进展。然而，大多数先前的研究主要集中在沿预记录车辆路径的渲染质量上，在路径外的视点上难以泛化，这是由于在这些路径外视图中缺乏高质量的监督。为了解决这一问题，我们引入了一种逆向视图变形技术，以生成紧凑且高质量的图像作为路径外视图重建的监督，从而实现这些视图的高质量渲染结果。为了实现准确且稳健的逆向视图变形，我们提出了一种深度引导策略，在优化过程中实时获得密集的深度图，克服了LiDAR深度数据的稀疏性和不完整性。我们的方法在广泛使用的Waymo Open数据集上实现了路径内和路径外重建和渲染性能的优越表现。此外，我们还提出了一个基于模拟器的基准测试，以获取路径外的真实情况并定量评估路径外渲染的性能，在此基准上，我们的方法显著优于以前的方法。

该论文旨在解决3D Gaussian Splatting技术在驾驶场景重建和渲染中对路径外视点（out-of-path viewpoints）的泛化能力不足的问题。由于缺乏高质量的路径外视点监督数据，现有的方法难以生成高保真的路径外视点图像。

论文提出了一种Inverse View Warping（逆向视图变形）技术，通过生成紧凑且高质量的路径外视点图像作为监督信号，从而改善这些视点的重建和渲染质量。为了确保逆向视图变形的准确性和鲁棒性，作者还引入了深度引导策略（depth bootstrap strategy），以实现实时密集深度图的获取，弥补LiDAR深度数据的稀疏性和不完整性。

1. 提出了Inverse View Warping技术，显著提升了路径外视点的重建和渲染质量。 2. 引入了深度引导策略，解决了LiDAR深度数据的稀疏性和不完整性问题。 3. 在Waymo Open数据集上验证了方法的有效性，并在多个指标上超越了现有方法。 4. 构建了一个基于模拟器的基准测试平台，用于获得路径外视点的真实数据并进行定量评估。 5. 开源代码和数据集，便于后续研究者进一步探索和改进。

最近在这个领域内有以下相关研究： 1. 'NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis' - 探索了神经辐射场在视图合成中的应用。 2. 'MVSNet: Depth Inference for Unstructured Multi-view Stereo' - 研究了多视角立体视觉中的深度推断。 3. 'Colmap: General Reconstruction System for Large-Scale Structure-from-Motion and 3D Reconstruction' - 提供了一个通用的大规模结构从运动及3D重建系统。 4. 'DeepV2D: Video to Depth' - 利用深度学习将视频转换为深度图。 5. 'Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer' - 研究了基于插值的可微分渲染器预测3D物体的方法。