Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion

不同iable的3D高斯喷洒（GS）正在计算机视觉和图形学中成为重建3D场景的突出技术。GS将场景表示为一组具有不同不透明度的3D高斯函数，并采用计算效率高的喷洒操作以及解析导数来计算给定从各个视点捕获的场景图像的3D高斯参数。不幸的是，在许多实际成像场景中，包括水下成像、建筑物内的房间和自主导航等限制基线成像场景中，捕捉全景图像（$360^{\circ}$视角）是不可能或不切实际的。在这些限制基线成像场景中，GS算法遭受着众所周知的“缺失锥”问题，导致沿深度轴的重建效果不佳。在本文中，我们通过使用瞬态数据（来自声纳）展示了如何通过沿深度轴采样高频数据来解决缺失锥问题。我们扩展了高斯喷洒算法，针对两种常用声纳提出了融合算法，同时利用RGB相机数据和声纳数据。通过各种成像场景的模拟、仿真和硬件实验，我们展示了所提出的融合算法可以显著提高新视角合成（PSNR提高5 dB）和3D几何重建（Chamfer距离降低60%）的效果。

本文旨在解决三维高斯喷洒算法在缺失视锥体成像场景下的重建问题。

通过使用声纳数据采样深度轴上的高频数据来解决缺失视锥体问题，并提出了两种常用声纳的高斯喷洒算法的扩展和融合方法。

本文通过模拟、仿真和硬件实验验证了所提出的融合算法的有效性，使得新视图合成和三维几何重建的质量都有了显著提高。

在这个领域中，最近的相关研究包括：'DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation'、'DeepVoxels: Learning Persistent 3D Feature Embeddings'、'Occupancy Networks: Learning 3D Reconstruction in Function Space'等。