MeshLRM: Large Reconstruction Model for High-Quality Mesh

我们提出了MeshLRM，这是一种新颖的基于LRM的方法，可以在不到一秒钟的时间内从仅四个输入图像中重建出高质量的网格。与之前专注于基于NeRF的重建的大型重建模型（LRMs）不同，MeshLRM将可微分的网格提取和渲染纳入了LRM框架中。这使得通过微调预训练的NeRF LRM与网格渲染来实现端到端的网格重建成为可能。此外，我们通过简化以前LRM中的一些复杂设计来改进LRM架构。MeshLRM的NeRF初始化是通过低分辨率和高分辨率图像进行顺序训练的；这种新的LRM训练策略实现了更快的收敛，从而以更少的计算量获得更好的质量。我们的方法实现了最先进的从稀疏视图输入中重建网格，同时还允许许多下游应用，包括文本到3D和单图像到3D生成。项目页面：https://sarahweiii.github.io/meshlrm/

论文旨在通过提出MeshLRM方法解决从仅四张输入图像中重建高质量网格的问题。同时，该方法也可以用于文本到三维和单图像到三维的生成任务。

MeshLRM通过将可微分的网格提取和渲染纳入LRM框架，实现端到端的网格重建。同时，通过简化之前LRMs中的一些复杂设计，改进了LRM的架构。此外，该方法采用了新的LRM训练策略，即用低分辨率和高分辨率图像依次训练NeRF初始化，从而实现更快的收敛和更好的质量。

该方法在从稀疏视角输入中实现了最先进的网格重建，并且可以用于文本到三维和单图像到三维的生成任务。论文提供了项目页面，并开源了代码和数据集。

最近在这个领域中，还有一些相关的研究，如Pixel2Mesh、PIFu、NeRF等。