Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image

本文介绍了一种新颖的图像到3D框架Unique3D，可从单视图图像高效地生成高质量的3D网格，具有最先进的生成保真度和强大的泛化能力。以前基于Score Distillation Sampling（SDS）的方法可以通过从大型2D扩散模型中提取3D知识来产生多样化的3D结果，但它们通常会遭受长时间的每个案例优化时间和不一致性问题。最近的研究解决了这个问题，通过微调多视图扩散模型或训练快速前馈模型来生成更好的3D结果。然而，由于不一致性和生成分辨率有限，它们仍然缺乏复杂的纹理和复杂的几何形状。为了在单个图像到3D中同时实现高保真度、一致性和高效性，我们提出了一种新颖的框架Unique3D，其中包括一个多视图扩散模型和一个相应的法向扩散模型，用于生成带有其法向图的多视图图像，一个多级放大过程，逐步提高生成的正交多视图的分辨率，以及一种即时和一致的网格重建算法ISOMER，它完全将颜色和几何先验集成到网格结果中。广泛的实验表明，我们的Unique3D在几何和纹理细节方面显著优于其他图像到3D基线。

本论文旨在提出一种新的图像到三维模型的生成框架，以解决现有方法在生成复杂几何和纹理方面存在的不足。

Unique3D框架包括一个多视角扩散模型及其相应的法线扩散模型，一个多级放大过程和一个名为ISOMER的即时一致性网格重建算法，将颜色和几何先验完全集成到网格结果中。

该论文的方法在生成高保真度、一致性和效率方面显著优于其他基线方法，实验结果表明，Unique3D在几何和纹理细节方面表现出色。

在这个领域中，最近的相关研究包括：Score Distillation Sampling (SDS)、多视角扩散模型和快速前向模型等。