Splatter Image: Ultra-Fast Single-View 3D Reconstruction

我们介绍了Splatter Image，这是一种超快速的单目三维物体重建方法，其运行速度为38 FPS。Splatter Image基于高斯点插值，该方法最近为多视角重建带来了实时渲染、快速训练和出色的扩展性。我们首次将高斯点插值应用于单目重建设置。我们的方法是基于学习的，测试时，重建只需要神经网络的前向评估即可。Splatter Image的主要创新在于其惊人简单的设计：它使用2D图像到图像网络将输入图像映射到每个像素一个3D高斯函数。因此，得到的高斯函数具有图像的形式，即Splatter Image。我们进一步扩展了该方法，通过添加跨视图注意力，将多个图像作为输入。由于渲染器的速度（588 FPS）非常快，我们可以在训练时使用单个GPU，在每次迭代中生成整个图像，以优化像LPIPS这样的感知度量。在标准基准测试中，我们不仅展示了快速重建，而且在PSNR、LPIPS和其他指标方面，也比最近的、更昂贵的基线方法取得了更好的结果。

本论文试图解决单目三维物体重建的问题，提出了一种基于高斯点插值的快速方法Splatter Image，旨在实现实时重建。

Splatter Image的关键思路是使用二维图像到图像的神经网络将输入图像映射到每个像素点上的一个三维高斯函数，形成Splatter Image，从而实现单目三维重建。同时，通过加入跨视图注意力，将多张图像作为输入，提高了重建的精度。

论文的亮点在于：1.提出了一种快速的单目三维重建方法Splatter Image，操作速度高达38 FPS；2.使用高斯点插值的方法，将单目三维重建的速度提高到实时级别；3.通过加入跨视图注意力，提高了重建的精度；4.在标准基准测试中，不仅实现了快速重建，而且在PSNR、LPIPS等指标上，实现了比最近的、更昂贵的基线方法更好的结果。

最近在这个领域中，还有一些相关的研究，如：《MonoPort: Monocular 3D Object Detection with Geometric Prior》、《3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction》等。