GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement

我们提出了一种新颖的方法，用于从多视角图像中重建3D网格。我们的方法受到大型重建模型（如LRM）的启发，该模型使用基于变压器的三面体生成器和在多视角图像上训练的神经辐射场（NeRF）模型。但是，在我们的方法中，我们引入了几个重要的修改，使我们能够显著提高3D重建质量。首先，我们检查了原始LRM架构并发现了几个缺点。随后，我们引入了相应的修改到LRM架构中，这些修改导致了改进的多视角图像表示和更高效的训练。其次，为了改善几何重建并使监督在完整图像分辨率下进行，我们以可微分的方式从NeRF场中提取网格，并通过网格渲染对NeRF模型进行微调。这些修改使我们在2D和3D评估指标方面均取得了最先进的性能，例如在Google扫描物体（GSO）数据集上的PSNR为28.67。尽管取得了这些优异的结果，我们的前向模型仍然难以重建复杂的纹理，例如资产上的文本和肖像。为了解决这个问题，我们引入了一个轻量级的每个实例的纹理细化过程。这个过程使用输入的多视角图像在网格表面上微调三面体表示和NeRF颜色估计模型，仅需4秒钟。这种细化将PSNR提高到29.79，并实现了复杂纹理（如文本）的忠实重建。此外，我们的方法还可以实现各种下游应用，包括文本或图像到3D生成。

论文的问题是从多视图图像中进行三维网格重建，特别是在处理复杂纹理等方面的挑战。这是一个已知的问题，但是论文提出了一种新的方法来解决它。

论文的关键思路是将大型重建模型与NeRF模型相结合，引入多个修改来提高重建质量和计算效率。其中一个修改是从NeRF场中可微提取网格，以改善几何重建和实现全图像分辨率的监督。

值得关注的亮点包括：1.提出的方法在2D和3D评估指标上都取得了最先进的性能；2.引入了轻量级的纹理细化过程，可以在4秒内提高PSNR，并实现对复杂纹理的忠实重建；3.可以用于文本或图像到3D生成等各种下游应用。实验使用了Google Scanned Objects数据集，并在Github上开源了代码。

最近的相关研究包括：1.使用深度学习进行三维重建的研究，如DeepSDF和Occupancy Networks；2.使用NeRF进行三维重建的研究，如NeRF-W和PixelNeRF。