VEGS: View Extrapolation of Urban Scenes in 3D Gaussian Splatting using Learned Priors

神经渲染的城市场景重建方法通常依赖于从面向前方和移动的摄像头所收集的图像。虽然这些方法可以成功地合成与训练摄像机轨迹相似的视图，但是指导新颖视角到训练摄像机分布之外并不能保证同等的性能。在本文中，我们通过评估与训练摄像机分布相比向左、向右或向下等视角的重建情况来解决外推视图合成（EVS）问题。为了提高EVS的渲染质量，我们通过构建密集的LiDAR地图来初始化我们的模型，并提出利用先前的场景知识，如表面法线估计器和大规模扩散模型。定性和定量比较证明了我们的方法在EVS上的有效性。据我们所知，我们是第一个解决城市场景重建中EVS问题的团队。我们的项目页面链接：https://vegs3d.github.io/。

论文旨在解决城市场景重建中的Extrapolated View Synthesis (EVS)问题，即如何在训练摄像机分布之外的视角上进行场景重建。这是一个新问题。

为了解决EVS问题，论文提出了利用先验场景知识和构建密集LiDAR地图来改善渲染质量的方法。这包括表面法线估计器和大规模扩散模型。

论文通过定量和定性比较展示了其方法在EVS问题上的有效性。研究还开源了代码和数据集。该研究为城市场景重建中的EVS问题提供了新的解决方案，同时也为进一步研究提供了有价值的思路。

最近的相关研究包括基于神经渲染的场景重建方法和基于LiDAR的场景重建方法。