LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives

本文介绍了一种名为LetsGo的基于LiDAR辅助高斯光斑技术的大规模车库建模和渲染方法，以解决车库场景中颜色单调、纹理重复、反光和透明车窗等挑战。作者使用带IMU、LiDAR和鱼眼相机的手持扫描仪Polar，采集了一个名为GarageWorld的数据集，其中包含五个具有不同几何结构的车库场景，并将该数据集发布给社区进行进一步研究。作者证明了Polar采集的LiDAR点云可增强一套3D高斯光斑算法用于车库场景建模和渲染。同时，作者还提出一种新的深度正则化方法用于3D高斯光斑算法训练，有效消除了渲染图像中的浮点伪影，并提出了一种轻量级的LOD高斯渲染器，可在基于Web的设备上实时查看。此外，作者还探索了一种混合表示方法，将传统网格表示的简单几何和颜色（如墙壁和地面）与现代3D高斯表示的复杂细节和高频纹理相结合，实现了内存性能和渲染质量的最佳平衡。作者在GarageWorld数据集、ScanNet++和KITTI-360上进行了实验，证明了他们的方法在渲染质量和资源效率方面的优越性。

如何解决大型车库场景的建模和渲染问题？

使用手持式扫描仪Polar采集车库数据，结合LiDAR-assisted Gaussian splatting算法进行三维建模和渲染，并提出一种新的混合表示方法，将传统网格表示和现代3D高斯表示相结合，以实现内存性能和渲染质量的最佳平衡。

论文提出了手持式扫描仪Polar，采集了一个包含五个大型车库场景的GarageWorld数据集，并将其公开。论文还提出了一种新的深度正则化器来训练3D高斯splatting算法，有效消除了渲染图像中的浮动伪影，并提出了一种轻量级的LOD高斯渲染器，可在基于Web的设备上实时查看。实验结果表明，该方法在渲染质量和资源效率方面优于ScanNet ++和KITTI-360。

最近的相关研究包括使用传统SfM方法进行车库场景建模和渲染，以及使用深度学习方法进行三维重建和场景渲染。