CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

前馈3D生成模型，如大型重建模型（LRM），已经展示了出色的生成速度。然而，基于transformer的方法在其架构中没有利用三面图组件的几何先验，往往会在有限的3D数据大小和缓慢的训练下导致次优质量。在这项工作中，我们提出了卷积重建模型（CRM），这是一个高保真的前馈单图像到3D生成模型。认识到稀疏3D数据带来的限制，我们强调将几何先验集成到网络设计中的必要性。CRM建立在关键观察的基础上，即三面图的可视化展示了六个正交图像的空间对应关系。首先，它从单个输入图像生成六个正交视图图像，然后将这些图像馈入卷积U-Net中，利用其强大的像素级对齐能力和显著的带宽来创建高分辨率的三面图。CRM还采用Flexicubes作为几何表示，便于在纹理网格上进行直接端到端优化。总的来说，我们的模型只需10秒钟就可以从图像生成高保真的纹理网格，而无需进行任何测试时间的优化。

本论文旨在提出一种高保真的单图像生成3D模型的方法，解决现有方法没有充分利用几何先验知识的问题。

该论文的关键思路是将三视图的空间对应性结合到卷积神经网络中，使用U-Net生成高分辨率三视图，然后使用Flexicubes作为几何表达来进行直接端到端优化。

该模型可以在10秒内从单个图像生成高保真的纹理网格，无需测试时间优化。实验结果表明，该模型在保真度和速度方面优于现有方法，并且可以应用于多种3D应用。论文使用了多个数据集进行实验，并且开源了代码。

最近的相关研究包括：《Large Scale Multi-View 3D Modeling with Deep Learning》、《Learning to Generate 3D Mesh Models from RGB-D Scans》、《Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images》等。