Pano2Room: Novel View Synthesis from a Single Indoor Panorama

最近的单视角3D生成方法通过利用从大量3D对象数据集中提取的知识取得了显著进展。然而，由于真实世界环境的复杂性和高质量先前资源的有限性，从单个视角合成3D场景仍存在挑战。在本文中，我们介绍了一种新方法，称为Pano2Room，旨在自动从单个全景图像重建高质量的室内3D场景。这些全景图像可以使用全景RGBD修补程序从任何相机在单个位置捕获轻松生成。关键思想是从输入全景图像最初构建一个初步网格，并使用全景RGBD修补程序迭代地优化该网格，同时收集逼真的3D一致伪新视图。最后，将优化后的网格转换为3D高斯喷洒场，并使用收集的伪新视图进行训练。该流程使得即使在存在大的遮挡的情况下也能够重建真实世界的3D场景，并促进了合成具有详细几何形状的逼真新视图。通过广泛的定性和定量实验，验证了我们的方法在单全景室内新颖合成方面的优越性。我们的代码和数据可在\url{https://github.com/TrickyGo/Pano2Room}中获取。

论文旨在解决从单个全景图像中自动重建高质量的室内3D场景的问题。这是一个新问题。

论文提出了一种名为Pano2Room的新方法，通过使用全景RGBD修复器从单个位置的全景图像中生成3D场景。关键思路是使用初始网格和全景RGBD修复器迭代地细化网格，并使用收集到的照片级3D一致的伪新视图将细化的网格转换为3D高斯喷洒场。

论文的亮点包括：1）使用全景RGBD修复器从单个全景图像中生成高质量的3D场景；2）能够在大遮挡的情况下重建真实世界的3D场景；3）实验结果表明，与现有的方法相比，该方法在单全景室内新颖合成方面具有卓越的性能；4）提供了代码和数据集。

在这个领域中的相关研究包括：1）DeepSDF：从单个2D图像中生成高质量3D模型；2）Neural Scene Flow Fields：从单个2D图像中生成连续的3D场景；3）PIFuHD：从单个RGB图像中生成高质量3D模型。