Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction with Transformers

最近，单张图像的三维重建取得了长足的进展，这得益于生成模型的发展。其中，基于得分蒸馏采样（Score Distillation Sampling，SDS）和扩散模型在三维领域的应用是突出的。尽管这些技术取得了进展，但它们往往面临优化或渲染速度缓慢的限制，导致需要进行大量的训练和优化。在本文中，我们介绍了一种新的单视角重建方法，通过前向推理从单张图像高效地生成三维模型。我们的方法利用两个基于Transformer的网络，即点解码器和三面解码器，使用混合的三面高斯中间表示重建三维对象。这种混合表示取得了平衡，实现了比隐式表示更快的渲染速度，同时比显式表示提供了更优秀的渲染质量。点解码器用于从单张图像生成点云，提供显式表示，然后由三面解码器查询每个点的高斯特征。这种设计选择解决了直接回归显式三维高斯属性的挑战，这种属性具有非结构性质。随后，多层感知器（MLP）解码三维高斯，通过喷洒实现快速渲染。两个解码器都基于可扩展的Transformer架构构建，并已在大规模三维数据集上进行了高效训练。对合成数据集和真实世界图像进行的评估表明，我们的方法不仅实现了更高的质量，而且与以前的最先进技术相比，确保了更快的运行时间。请参见我们的项目页面https://zouzx.github.io/TriplaneGaussian/。

本论文旨在通过单张图像的前向推理，高效生成三维模型，解决当前基于生成模型的三维重建方法优化和渲染速度慢的问题。

本论文提出了一种新的方法，利用点云解码器和三面解码器构建一个三面-高斯混合表示，快速生成高质量的三维模型。点云解码器生成点云，而三面解码器则利用高斯特征查询每个点的属性，最终通过MLP解码生成三维高斯，实现快速渲染。

本论文使用可扩展的基于Transformer的架构，对大规模三维数据集进行高效训练。实验结果表明，相比之前的最先进技术，本方法不仅能够实现更高的质量，还能确保更快的运行时间。论文提供了项目页面 https://zouzx.github.io/TriplaneGaussian/，其中包括数据集和开源代码。

最近的相关研究包括基于Score Distillation Sampling (SDS)和扩散模型的三维重建方法。