CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner

我们提出了一种新型的生成式三维建模系统，称为CraftsMan，它可以生成高保真度、形状高度多样、网格拓扑规则、表面细节详尽的三维几何体，并且特别地，允许交互式地对几何体进行细化。尽管三维生成技术有了显著进步，但现有方法仍然在优化过程冗长、网格拓扑不规则、表面嘈杂以及难以适应用户编辑等方面存在困难，从而妨碍了它们在三维建模软件中的广泛应用和实现。我们的工作受到工匠的启发，工匠通常先粗略地制作出整个作品的形状，然后再精细地制作表面细节。具体地，我们采用了一种三维本地扩散模型，该模型在从潜在集合式三维表示中学习的潜在空间上操作，以在几秒钟内生成具有规则网格拓扑的粗略几何体。特别是，该过程以文本提示或参考图像作为输入，并利用强大的多视角扩散模型生成粗略几何体的多个视角，这些视角被输入到我们的多视角条件下的三维扩散模型中，用于生成三维几何体，从而显著提高了鲁棒性和泛化能力。随后，使用基于法线的几何体细化器显著增强表面细节。这种细化可以自动进行，也可以与用户提供的编辑交互式进行。大量实验表明，与现有方法相比，我们的方法在生成优质三维资产方面具有高效性。主页：https://craftsman3d.github.io/，代码：https://github.com/wyysf-98/CraftsMan。

CraftsMan试图解决3D生成中存在的优化过程长、网格拓扑不规则、表面噪声和难以容纳用户编辑等问题。这是一个新问题吗？

CraftsMan采用3D本地扩散模型生成粗略几何体，并使用基于法线的几何细化器显著增强表面细节。这种细化可以自动进行，也可以与用户提供的编辑交互式进行。

论文使用了CraftsMan系统生成高质量的三维几何体，可以生成高度多样化的形状、规则的网格拓扑和详细的表面。CraftsMan系统能够根据输入的文本提示或参考图像生成粗略几何体，并使用多视角扩散模型生成多个视角的粗略几何体，然后使用MV条件的3D扩散模型生成三维几何体。实验表明，CraftsMan系统相比现有方法具有更高的生成效率和生成质量。

最近的相关研究包括：1）GAN生成3D模型，如《Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling》；2）使用深度学习进行3D重建，如《Deep Learning for Single-View Instance Recognition》；3）使用扩散模型生成3D模型，如《Learning Implicit Fields for Generative Shape Modeling》。