Planar Gaussian Splatting

本文提出了平面高斯点绘（Planar Gaussian Splatting, PGS），这是一种新颖的神经渲染方法，可以直接从多个RGB图像中学习场景的3D几何结构并解析3D平面。PGS利用高斯基元来建模场景，并采用分层高斯混合方法对它们进行分组。在树状高斯混合中，相似的高斯基元通过概率方式逐步合并，以识别不同的3D平面实例并形成整体3D场景几何结构。为了实现分组，高斯基元包含额外的参数，如从通用2D分割模型提取的2D掩码生成的平面描述符和表面法线。实验表明，所提出的PGS在无需3D平面标签或深度监督的情况下，在3D平面重建方面达到了最先进的性能。与现有的监督方法相比，这些方法的泛化能力有限且在领域迁移下表现不佳，PGS由于其神经渲染和特定场景优化机制，在不同数据集上保持了性能，同时比现有的基于优化的方法显著更快。

该论文旨在解决从多视角RGB图像中直接学习3D场景几何和解析3D平面的问题，无需3D平面标签或深度监督。这是一个具有挑战性的问题，因为现有的方法通常依赖于额外的监督信息，导致泛化能力有限。

论文提出了Planar Gaussian Splatting (PGS)，一种基于高斯原语的神经渲染方法，通过分层高斯混合模型将相似的高斯原语逐步合并，从而识别出不同的3D平面实例，并形成整体的3D场景几何。这种方法利用了2D分割模型生成的2D掩码和平面法线等附加参数，使得高斯原语能够更好地表示3D平面结构。

1. 实验结果显示，PGS在3D平面重建任务上达到了最先进的性能，且不需要3D平面标签或深度监督。 2. 与现有的监督方法相比，PGS具有更好的泛化能力，能够在不同数据集上保持高性能。 3. 该方法比现有的优化方法更快，提高了计算效率。 4. 论文提供了开源代码，方便其他研究者复现和进一步研究。

1. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" - 提出了NeRF，一种基于神经辐射场的视图合成方法。 2. "MonoPlaneRecon: Monocular 3D Plane Reconstruction with Differentiable Rendering" - 通过可微渲染技术实现了单目3D平面重建。 3. "PlaneRCNN: Fast Plane Detection and Reconstruction in 3D from a Single RGB Image" - 利用深度学习技术实现了从单张RGB图像中快速检测和重建3D平面。 4. "DeepVoxels: Learning Persistent 3D Feature Embeddings" - 提出了DeepVoxels，一种学习持久3D特征嵌入的方法，用于视图合成和3D重建。