360-GS: Layout-guided Panoramic Gaussian Splatting For Indoor Roaming

最近，3D高斯喷洒（3D-GS）因其实时和逼真的渲染而受到广泛关注。该技术通常以透视图像为输入，并通过将一组3D椭圆高斯函数喷洒到图像平面上进行优化，从而产生2D高斯函数。然而，将3D-GS应用于全景输入会在有效地对${360^\circ}$图像的球面投影进行建模方面面临挑战，因为使用2D高斯函数。在实际应用中，输入全景图像通常是稀疏的，导致3D高斯函数的初始化不可靠，并导致3D-GS的质量下降。此外，由于无纹理平面（例如墙壁和地板）的几何形状不完整，3D-GS难以用椭圆高斯函数对这些平面进行建模，从而导致在新视图中出现显著的浮动。为了解决这些问题，我们提出了360-GS，这是一种针对有限全景输入的新型$360^{\circ}$高斯喷洒技术。360-GS不是将3D高斯函数直接喷洒到球面表面，而是将它们投影到单位球的切平面上，然后将它们映射到球面投影上。这种适应性使得可以使用高斯函数来表示投影。我们利用全景布局先验来指导360-GS的优化，这些先验很容易获得，并包含有关室内场景的强结构信息。我们的实验结果表明，360-GS允许全景渲染，并在新视图合成中表现出色，从而提供了沉浸式的室内漫游体验，并且优于现有的最先进方法。

本文旨在解决将360度全景图像应用于3D高斯点插值（3D-GS）时遇到的问题，如输入稀疏、难以初始化和无法处理纹理较少的平面等问题。

文章提出了一种名为360-GS的新方法，将3D高斯点插值映射到单位球的切平面上，再将其映射到球面上，从而有效地解决了360度全景图像的问题。

文章利用场景布局先验指导360-GS的优化，实验结果表明，360-GS在新视角合成中具有更少的伪影，能够提供沉浸式的室内漫游。

最近的相关研究包括全景图像处理和3D-GS技术的应用，如《Deep360Pilot：Learning to Steer from Raw Structured Panoramas》和《Real-time 3D Reconstruction with Online Shape Prior》。