Drone-assisted Road Gaussian Splatting with Cross-view Uncertainty

在自动驾驶仿真中，大规模道路场景的强大且逼真的渲染至关重要。最近，三维高斯点插值（3D-GS）在神经渲染方面取得了突破性进展，但大规模道路场景渲染的总体保真度通常受到输入图像的限制，这些图像通常具有狭窄的视野，并主要关注街道级的局部区域。直观地，来自无人机视角的数据可以为来自地面车辆视角的数据提供补充视角，增强场景重建和渲染的完整性。然而，纯粹地使用航空和地面图像进行训练，这些图像具有较大的视角差异，对于3D-GS来说存在重大的收敛挑战，并且在道路视图上并没有展现出明显的性能提升。为了增强道路视图的新视角合成并有效利用航空信息，我们设计了一种不确定性感知的训练方法，该方法允许航空图像在地面图像学习结果不佳的区域协助合成，而不是像之前的工作那样在3D-GS训练中平等地权衡所有像素。我们是第一个通过将车载视角基于集合的渲染不确定性与航空图像匹配来引入交叉视角不确定性到3D-GS中的研究者，从而对每个像素的贡献进行加权，以加强道路视图的新视角合成。此外，为了系统地量化评估指标，我们组装了一个高质量的合成数据集，其中包括道路场景的航空和地面图像。

解决问题：如何在自动驾驶模拟中实现大规模道路场景的逼真渲染？

关键思路：设计一种基于不确定性的训练方法，利用无人机视角的图像辅助地面车辆视角的图像进行渲染，提高道路场景的新视角合成能力。

亮点：引入了基于不确定性的训练方法，使用无人机视角的图像辅助地面车辆视角的图像进行渲染，提高了道路场景的新视角合成能力。使用了高质量的合成数据集，并对实验结果进行了系统化的量化评估。

相关研究：最近的相关研究包括基于神经网络的渲染方法，如3D-GS等。