Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion

不同iable 3D高斯喷洒（GS）正在计算机视觉和图形学中崭露头角，用于重建3D场景。GS将场景表示为一组具有不同不透明度的3D高斯函数，并采用计算效率高的喷洒操作以及解析导数来计算给定从各个视点捕获的场景图像的3D高斯函数参数。不幸的是，在许多实际成像场景中，包括水下成像、建筑物内的房间和自主导航，捕获全景图像（$360^{\circ}$视角）是不可能或不切实际的。在这些限定基线成像场景中，GS算法存在一个众所周知的“缺失锥”问题，导致在深度轴上重建效果不佳。在本文中，我们展示了使用瞬态数据（来自声纳）可以通过沿深度轴采样高频数据来解决缺失锥问题。我们扩展了高斯喷洒算法，用于两种常用声纳，并提出了同时利用RGB相机数据和声纳数据的融合算法。通过各种成像场景的模拟、仿真和硬件实验，我们展示了所提出的融合算法可以显著提高新视角合成（PSNR提高5 dB）和3D几何重建（Chamfer距离降低60%）的效果。

本文试图解决使用高斯喷洒算法重建三维场景时，由于缺失视角（例如在水下成像、建筑内部和自主导航等场景），导致深度轴重建质量差的问题。

本文提出使用声纳数据采样深度轴的高频数据来解决缺失视角的问题，并针对两种常用的声纳提出高斯喷洒算法的扩展和融合算法，同时使用RGB相机数据和声纳数据进行重建。

本文通过模拟、仿真和硬件实验，在各种成像场景下展示了所提出的融合算法可以显著提高新视角合成和三维几何重建的质量。例如，PSNR提高了5 dB，Chamfer距离降低了60%。

最近相关研究包括： 1. 'DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation' (Park et al., 2019) 2. 'Neural Volumes: Learning Dynamic Renderable Volumes from Images' (Lombardi et al., 2019) 3. 'DeepMarching: Learning to March in 3D' (Wang et al., 2020)