GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction

我们提出了GSD，一种基于高斯喷洒（GS）表示的扩散模型方法，用于从单个视图重建3D物体。以往的工作由于表示不当而存在不一致的3D几何或中等渲染质量的问题。我们利用最近的最先进的3D显式表示方法——高斯喷洒和无条件扩散模型，朝着解决这些缺点迈出了一步。这个模型学习生成由一组GS椭球体表示的3D物体。由于具有这些强大的生成3D先验，即使是无条件学习，扩散模型也可以进行视图引导重建，而无需进一步的模型微调。这是通过通过高效而灵活的喷洒函数和引导去噪采样过程来传播细粒度的2D特征实现的。此外，还进一步采用2D扩散模型来增强渲染保真度，并通过抛光和重复使用渲染图像来改善重建的GS质量。最终重建出的物体具有高质量的3D结构和纹理，并且可以在任意视角下高效地渲染。在具有挑战性的真实世界CO3D数据集上的实验证明了我们方法的优越性。项目页面：$\href{https://yxmu.foo/GSD/}{\text{此 https URL}}$。

本论文旨在通过使用高斯喷洒（GS）表示和无条件扩散模型，解决单视角下的三维物体重建中存在的不一致的三维几何或中等渲染质量的问题。

本文提出了一种基于高斯喷洒的扩散模型方法，学习生成由一组GS椭球表示的三维物体，通过有效而灵活的喷洒函数和引导去噪采样过程，实现了视图引导重建。

本文使用了高斯喷洒表示和无条件扩散模型，具有强大的三维生成先验知识，无需进一步微调即可进行视图引导重建。此外，还使用了2D扩散模型来提高渲染保真度，并通过抛光和重用渲染图像来改善重建的GS质量。实验结果表明了该方法的优越性。

在这个领域中，最近的相关研究包括DeepSDF和IM-NET等。