GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF

我们引入了一个新颖的、多模态的大规模场景重建基准测试，利用了新开发的3D表示方法：高斯喷洒和神经辐射场（NeRF）。我们广阔的U-Scene数据集在面积和点数上都超过了以前任何真实的大规模室外LiDAR和图像数据集。GauU-Scene覆盖了超过6.5平方公里的区域，并配备了综合的RGB数据集，以及与LiDAR测量相对应的真实地面高度。此外，我们是第一个提出了一种针对基于无人机的数据集的LiDAR和图像对齐方法。我们对GauU-Scene的评估包括在各种新颖视角下的详细分析，采用基于图像的度量标准，如SSIM、LPIPS和PSNR，对基于NeRF和高斯喷洒的方法进行评估。这个分析揭示了当应用基于几何的度量标准，如Chamfer距离时，出现了矛盾的结果。我们在多模态数据集上的实验结果突出了当前基于图像的度量标准的不可靠性，并揭示了使用当前基于高斯喷洒的方法进行几何重建的显著缺陷，进一步说明了我们的数据集对于评估几何重建任务的必要性。我们还提供了有关数据收集协议的详细补充信息，并在以下匿名项目页面上提供了数据集。

论文旨在提出一个新的场景重建基准数据集，以解决当前场景重建中存在的问题。

论文提出了一种新的多模态场景重建方法，结合了高斯点扩散和神经辐射场两种新的3D表示方法，并将其应用于新开发的U-Scene数据集中。

U-Scene数据集是一个包含RGB图像和LiDAR地面真实数据的6.5平方公里的大型室外场景重建数据集。论文还提出了一种针对无人机数据的LiDAR和图像对齐方法，并使用了多种评估指标来评估场景重建结果。实验结果表明，当前的基于图像的评估指标并不可靠，并且当前的高斯点扩散方法在几何重建方面存在一些缺陷。

最近的相关研究包括使用深度学习技术进行场景重建和使用多模态数据进行场景重建等。