LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives

大型车库是普遍而复杂的场景，由于它们单调的颜色、重复的图案、反射表面和透明的车辆玻璃，它们呈现出独特的挑战。传统的结构从运动（SfM）方法用于相机姿态估计和3D重建在这些环境中经常失败，因为对应关系构造不佳。为了解决这些挑战，我们介绍了LetsGo，这是一个利用激光雷达辅助的高斯喷洒框架，用于大规模车库建模和渲染。我们开发了一个手持扫描仪Polar，它配备了IMU、激光雷达和鱼眼相机，以便进行准确的数据采集。使用这个Polar设备，我们提供了GarageWorld数据集，包括八个具有不同几何结构的广阔车库场景，这将公开供进一步研究使用。我们的方法表明，Polar设备收集的激光雷达点云显著增强了一套3D高斯喷洒算法，用于车库场景建模和渲染。我们引入了一种新颖的深度正则化器，有效消除了渲染图像中的浮动伪影。此外，我们提出了一种多分辨率3D高斯表示，设计用于细节级别（LOD）渲染。这包括适应不同级别的缩放因子和随机分辨率级别训练方案，以优化高斯函数的不同分辨率。这种表示方法通过基于Web的渲染器，使大规模车库场景在轻量级设备上实现高效渲染。我们在GarageWorld数据集以及ScanNet++和KITTI-360上的实验结果表明，我们的方法在渲染质量和资源效率方面具有优越性。

本论文旨在解决如何通过LiDAR点云数据来准确地建模和渲染大型车库场景的问题，该问题在传统的结构运动方法中存在困难。

论文提出了一种基于LiDAR和高斯光滑算法的框架，通过使用手持扫描仪Polar来获取数据，并引入深度正则化和多分辨率3D高斯表示，实现了车库场景的高质量建模和渲染。

论文使用Polar设备收集数据，并创建了GarageWorld数据集，该数据集包含8个具有多样几何结构的车库场景，可以用于进一步的研究。论文提出的深度正则化方法有效地消除了渲染图像中的浮动伪影。此外，多分辨率3D高斯表示使得大规模车库场景的LOD渲染变得高效，并通过基于Web的渲染器在轻量级设备上实现了渲染。实验结果表明，该方法在渲染质量和资源效率方面优于现有方法。

在相关研究方面，最近的一些研究包括ScanNet++和KITTI-360。