InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models

本文介绍了InstantMesh，这是一个快速的3D网格生成模型，可以通过单张图像实现，具有最先进的生成质量和显著的训练可扩展性。通过充分利用现成的多视角扩散模型和基于LRM架构的稀疏视角重建模型的优势，InstantMesh能够在10秒内创建多样化的3D资产。为了增强训练效率和利用更多的几何监督，例如深度和法线，我们将可微分的等值面提取模块集成到我们的框架中，并直接在网格表示上进行优化。公共数据集上的实验结果表明，InstantMesh在质量和数量上都显著优于其他最新的图像到3D基线模型。我们发布了InstantMesh的所有代码、权重和演示，希望能够为3D生成AI社区做出实质性的贡献，并赋能研究人员和内容创作者。

InstantMesh试图解决从单张图像生成3D网格的问题，同时提高训练效率和利用几何监督信息。

InstantMesh结合了多视角扩散模型和基于LRM架构的稀疏视角重建模型，通过可微分等值面提取模块直接优化网格表示，实现了在10秒内生成多样化3D资产。

InstantMesh在公共数据集上的实验结果表明，它在质量和数量上都显著优于其他最新的图像到3D基线。研究人员发布了所有代码、权重和InstantMesh的演示，以期为3D生成AI社区做出实质性贡献，并为研究人员和内容创作者提供帮助。

最近的相关研究包括：《Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation》、《PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization》等。