Direct Learning of Mesh and Appearance via 3D Gaussian Splatting

本文旨在准确重建包含明确几何信息的三维场景，这既具有吸引力又具有挑战性。几何重建可以从融合可微外观模型中受益，例如神经辐射场和三维高斯点插值（3DGS）。在本文中，我们提出了一种可学习的场景模型，它将3DGS与明确的几何表示（即网格）相结合。我们的模型以端到端的方式学习网格和外观，其中我们将3D高斯分布绑定到网格面并执行可微渲染以获得光度监督。该模型创建了一个有效的信息路径，以监督场景的学习，包括网格。实验结果表明，学习的场景模型不仅实现了最先进的渲染质量，而且还支持使用明确的网格进行操作。此外，由于网格和外观的端到端学习，我们的模型在适应场景更新方面具有独特的优势。

本论文旨在解决三维场景重建中的几何重建问题，提出了一种可学习的场景模型，结合了3D高斯光斑和显式的几何表示，即网格，以实现更好的渲染质量和场景操作。

论文提出的场景模型将3D高斯光斑绑定到网格面上，通过可微分渲染实现对几何和外观的端到端学习，从而有效监督场景的学习，包括网格的学习。该模型具有适应场景更新的独特优势。

论文的实验结果表明，所提出的场景模型不仅实现了最先进的渲染质量，而且支持使用显式网格进行操作。此外，该模型的端到端学习使其能够适应场景更新。论文使用了多个数据集进行实验，并开源了代码。

在这个领域中，最近的相关研究包括Neural Radiance Fields和3D Gaussian Splatting等不同iable外观模型的使用，以及使用深度学习进行三维场景重建的其他方法，如PointNet和Mesh R-CNN等。