Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image

在这项工作中，我们介绍了Unique3D，这是一种新颖的图像到3D框架，可以高效地从单视图图像生成高质量的3D网格，具有最先进的生成保真度和强大的通用性。基于得分蒸馏采样（SDS）的先前方法可以通过从大型2D扩散模型中提取3D知识来产生多样化的3D结果，但它们通常会遇到长时间的个案优化时间和不一致的问题。最近的研究解决了这个问题，通过微调多视图扩散模型或训练快速前馈模型来生成更好的3D结果。然而，由于不一致性和有限的生成分辨率，它们仍然缺乏复杂的纹理和复杂的几何形状。为了同时实现单个图像到3D的高保真度、一致性和效率，我们提出了一个新颖的框架Unique3D，其中包括一个多视图扩散模型和一个相应的法线扩散模型，用于生成带有其法线贴图的多视图图像，一个多级放大过程，逐步提高生成的正交多视图的分辨率，以及一种即时和一致的网格重建算法ISOMER，它完全将颜色和几何先验信息整合到网格结果中。广泛的实验表明，我们的Unique3D在几何和纹理细节方面显著优于其他图像到3D基线。

本文旨在提出一种从单视图图像高效生成高质量3D网格的框架，解决现有方法在生成复杂几何形状和精细纹理方面存在的问题。

本文提出Unique3D框架，包括多视图扩散模型、多级升采样过程和一种名为ISOMER的即时一致网格重构算法，以实现高保真度、一致性和效率的单图像到3D转换。

本文的实验结果表明，Unique3D在几何和纹理细节方面明显优于其他图像到3D基线。本文使用了多个数据集进行实验，并公开了代码。

与本文相关的研究包括基于Score Distillation Sampling (SDS)的方法和基于多视图扩散模型的方法。