HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2

在摄影测量、计算机视觉和计算机图形学领域，神经三维场景重建的任务已经引发了各种技术的探索。其中，三维高斯点描技术以其使用三维高斯函数明确表示场景的特点而脱颖而出，这使其在三维点云提取和表面重建等任务中具有吸引力。受其潜力的启发，我们致力于处理三维场景重建领域，旨在利用Microsoft HoloLens 2的能力来实现即时的三维高斯点描。我们提出了一种新的工作流程HoloGS，利用HoloLens传感器数据，通过即时访问所需的输入数据，即图像、相机姿态和深度感应的点云，规避了像运动结构等预处理步骤。我们进行了全面的调查，包括训练过程和渲染质量，通过峰值信噪比和从高斯中心密集化的点云的几何三维精度（由Chamfer距离测量）进行评估。我们在两个自拍场景上评估了我们的方法：一个是文化遗产雕像的室外场景，另一个是细节丰富的植物的室内场景。我们的结果表明，HoloLens数据，包括RGB图像、相应的相机姿态和深度感应的点云来初始化高斯函数，适合作为三维高斯点描的输入。

本论文旨在探索使用3D高斯样条的神经三维场景重建，通过使用Microsoft HoloLens 2的传感器数据，实现即时3D高斯样条，以便于三维点云提取和表面重建。

本文提出了一种新的工作流HoloGS，利用HoloLens传感器数据，绕过预处理步骤，即时访问所需的输入数据，例如图像、相机姿态和深度感测的点云。该方法可用于两个自行捕获的场景，并通过峰值信噪比和Chamfer距离等指标进行评估。

本文的亮点在于使用HoloLens传感器数据进行3D高斯样条，从而绕过预处理步骤；实验包括两个自行捕获的场景，评估指标包括峰值信噪比和Chamfer距离；论文提供了全面的调查，包括训练过程和渲染质量。

最近在这个领域中，还有一些相关研究，例如“DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation”和“Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation”。