DIG3D: Marrying Gaussian Splatting with Deformable Transformer for Single Image 3D Reconstruction

本文研究了从单视角RGB图像进行3D重建的问题，并提出了一种名为DIG3D的新方法，用于3D物体重建和新视角合成。我们的方法利用编码器-解码器框架，在编码器中利用深度感知图像特征指导解码器生成3D高斯。特别地，我们引入了可变形变换器，通过3D参考点和多层细化适应实现高效和有效的解码。通过利用3D高斯的优势，我们的方法为从单视角图像进行3D重建提供了高效准确的解决方案。我们在ShapeNet SRN数据集上评估了我们的方法，在汽车和椅子数据集中得到了24.21和24.98的PSNR。结果优于最近的方法约2.25％，证明了我们的方法在实现卓越结果方面的有效性。

本文旨在解决从单视图RGB图像进行三维重建的问题，并提出了一种名为DIG3D的新方法，用于三维物体重建和新视图合成。

本文提出了一种编码器-解码器框架，利用来自编码器的深度感知图像特征，在解码器中生成三维高斯分布。特别地，引入了可变形变换器，通过三维参考点和多层细化自适应实现高效和有效的解码。

本文的亮点包括使用三维高斯分布，为单视图图像的三维重建提供了高效准确的解决方案。实验使用了ShapeNet SRN数据集，得到了24.21和24.98的PSNR值，分别在汽车和椅子数据集上超过了最近的方法约2.25％，展示了本方法实现卓越结果的有效性。

在这个领域的相关研究包括：DeepSDF, Pixel2Mesh, AtlasNet等。