SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views

最近，开放世界的三维生成引起了相当大的关注。虽然许多单图像到三维的方法产生了视觉上令人满意的结果，但它们经常缺乏足够的可控性，并且往往会产生与用户期望不符的虚假区域。在本文中，我们探讨了一个重要的场景，即输入由一个或几个未定位的单个对象的2D图像组成，很少或没有重叠。我们提出了一种新的方法，SpaRP，用于重建3D纹理网格并估计这些稀疏视图的相对相机姿态。SpaRP从2D扩散模型中提炼知识，并对其进行微调，以隐含地推导出稀疏视图之间的3D空间关系。扩散模型被训练为共同预测相机姿态的替代表示和在已知姿态下的物体的多视图图像，将所有信息从输入的稀疏视图集成起来。然后利用这些预测来完成3D重建和姿态估计，重建的3D模型可以用来进一步优化输入视图的相机姿态。通过对三个数据集的大量实验，我们证明了我们的方法不仅在3D重建质量和姿态预测准确性方面明显优于基线方法，而且表现出很强的效率。它只需要约20秒的时间就可以为输入视图生成纹理网格和相机姿态。项目页面：https://chaoxu.xyz/sparp。

本论文旨在解决单张或几张无姿态2D图像的3D重建和相机姿态估计问题，同时避免产生虚假区域和缺乏可控性的问题。

论文提出了一种新的方法SpaRP，通过2D扩散模型的知识，隐式地推断稀疏视图之间的3D空间关系，从而实现3D重建和姿态估计。

论文通过实验验证了SpaRP方法在三个数据集上的高效性和优越性，它不仅在3D重建质量和姿态预测准确性方面显著优于基线方法，而且速度快，只需要约20秒即可生成纹理网格和相机姿态。此外，论文还提供了项目页面和开源代码。

最近的相关研究包括：《Single-Image 3D Reconstruction with Self-Supervised Learning》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization》等。