SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior

在自动驾驶仿真中，街景的新视角合成（NVS）起着至关重要的作用。目前实现此功能的主流技术是神经渲染，如神经辐射场（NeRF）和3D高斯喷洒（3DGS）。尽管取得了惊人的进展，但在处理街景时，当前的方法难以在与训练视点显著偏离的视点上保持渲染质量。这个问题源于由移动车辆上的固定摄像机捕获的稀疏训练视图。为了解决这个问题，我们提出了一种新的方法，通过利用扩散模型的先验知识以及互补的多模态数据来增强3DGS的能力。具体来说，我们首先通过添加相邻帧的图像作为条件来微调扩散模型，同时利用来自LiDAR点云的深度数据提供额外的空间信息。然后我们将扩散模型应用于训练期间未见的视图，以规范3DGS。实验结果验证了我们的方法相对于当前最先进的模型的有效性，并展示了它在渲染更广泛视角的图像方面的优势。

解决问题：论文试图通过增强3D高斯点描方法的能力，结合扩展的多模态数据和扩大的视角，解决当前神经渲染技术在处理街景时无法维持渲染质量的问题。

关键思路：论文提出了一种新的方法，通过利用扩展的多模态数据和Diffusion Model的先验知识，对3D高斯点描方法进行正则化，从而提高其在训练过程中在未见过的视角下的渲染质量。

其他亮点：论文通过添加相邻帧的图像和LiDAR点云的深度数据来微调Diffusion Model，然后将其应用于3D高斯点描方法，从而提高了其在未见过的视角下的渲染质量。实验结果表明，该方法在渲染更广泛视角的图像方面具有优势。论文使用了Neural Radiance Fields和3D Gaussian Splatting等神经渲染技术，并与当前最先进的模型进行了比较。

相关研究：最近的相关研究包括Neural Radiance Fields和3D Gaussian Splatting等神经渲染技术。