PanSplat: 4K Panorama Synthesis with Feed-Forward Gaussian Splatting

随着便携式360度相机的出现，全景图像在虚拟现实（VR）、虚拟游览、机器人技术和自动驾驶等应用中受到了广泛关注。因此，宽基线全景视图合成成为了一项重要的任务，其中高分辨率、快速推理和内存效率是关键。然而，现有的方法通常由于高昂的内存和计算需求而限制在较低的分辨率（512 × 1024）。在本文中，我们提出了PanSplat，这是一种通用的前馈方法，能够高效支持高达4K（2048 × 4096）的分辨率。我们的方法采用了一个定制的球形3D高斯金字塔，并使用斐波那契格点排列，从而提高了图像质量并减少了信息冗余。为了满足高分辨率的需求，我们提出了一种集成层次化球形代价体积和高斯头的管道，并结合局部操作，实现了两步延迟反向传播，从而在单个A100 GPU上进行内存高效的训练。实验结果表明，PanSplat在合成数据集和真实世界数据集上均达到了最先进的效果，具有更高的效率和图像质量。代码将在以下网址提供：[https://github.com/chengzhag/PanSplat](https://github.com/chengzhag/PanSplat)。

论文试图解决宽基线全景视图合成中的高分辨率、快速推理和内存效率问题，特别是现有方法通常受限于较低分辨率（512 × 1024）的问题。这是一个在虚拟现实、虚拟旅游、机器人和自动驾驶等应用中日益重要的问题。

论文提出了一种名为PanSplat的通用前馈方法，该方法通过定制的球形3D高斯金字塔和斐波那契格子排列来提高图像质量并减少信息冗余。此外，为了支持高分辨率需求，论文提出了一种结合分层球形成本体积和高斯头的管道，并引入了两步延迟反向传播技术，以实现单个A100 GPU上的高效训练。

实验表明，PanSplat在合成和真实世界数据集上均取得了最先进的结果，同时具有更高的效率和图像质量。该方法支持高达4K（2048 × 4096）的分辨率，并且代码将在GitHub上开源（https://github.com/chengzhag/PanSplat）。未来的工作可以进一步探索更高分辨率下的性能优化。

近期在这个领域的一些相关研究包括： 1. "Spherical CNNs for 360° Image Processing" - 提出了用于360°图像处理的球形卷积神经网络。 2. "Deep Panoramic Stereo Matching" - 研究了深度学习在全景立体匹配中的应用。 3. "Efficient High-Resolution Panorama Synthesis Using Spherical Cost Volumes" - 探讨了使用球形成本体积进行高效高分辨率全景合成的方法。 4. "Learning to Generate High-Resolution Panoramas from Wide-Baseline Images" - 研究了从宽基线图像生成高分辨率全景图的生成模型。