InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models

我们提出了InstantMesh，这是一个基于前馈的框架，可以从单张图片中快速生成3D网格，具有最先进的生成质量和可扩展性。通过发挥现成的多视角扩散模型和基于LRM架构的稀疏视角重建模型的优势，InstantMesh能够在10秒内创建多样化的3D资产。为了增强训练效率并利用更多几何监督，例如深度和法线，我们在框架中集成了可微等值面提取模块，并直接在网格表示上进行优化。公共数据集上的实验结果表明，InstantMesh在质量和数量上都显著优于其他最新的图像到3D基线。我们发布了InstantMesh的所有代码、权重和演示，旨在为3D生成AI社区做出实质性贡献，并为研究人员和内容创作者提供支持。

InstantMesh论文旨在解决从单张图像生成高质量的3D网格的问题，并验证其在训练可扩展性方面的有效性。

InstantMesh框架结合了多视角扩散模型和基于LRM架构的稀疏视角重建模型的优势，利用可微分等值面提取模块直接优化网格表示，从而实现了10秒内生成多样化3D资产的目标。

InstantMesh在公共数据集上的实验结果表明，它在质量和数量上都显著优于其他最新的图像到3D基线。InstantMesh开源了所有代码、权重和演示，旨在为3D生成AI社区做出实质性贡献，为研究人员和内容创作者提供帮助。

在这个领域中，还有一些相关的研究被进行，例如：Neural 3D Mesh Renderer，Pixel2Mesh，AtlasNet等。