MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

本文旨在从文本描述中生成3D网格材料。与现有的合成纹理贴图的方法不同，我们提出生成分段程序材料图作为外观表示，支持高质量渲染并提供大量的编辑灵活性。我们不依赖于大量的成对数据，即带有材料图和相应文本描述的3D网格，来训练材料图生成模型，而是提出利用预先训练的2D扩散模型作为桥梁来连接文本和材料图。具体来说，我们的方法将形状分解为一组段，并设计一个段控制的扩散模型来合成与网格部件对齐的2D图像。基于生成的图像，我们初始化材料图的参数，并通过可微分渲染模块微调它们，以产生符合文本描述的材料。广泛的实验表明，我们的框架在逼真度、分辨率和可编辑性方面比现有方法表现更优。项目页面：https://zhanghe3z.github.io/MaPa/

本论文旨在通过生成分段程序材质图形的方式，从文本描述中生成3D网格材料，解决材料生成领域中的问题。

本论文的关键思路是通过预训练的2D扩散模型作为桥梁，将文本和材质图形相连接，设计分段控制的扩散模型来合成与网格部件对齐的2D图像，通过生成的图像初始化材质图的参数，并通过可微分渲染模块微调参数，从而生成符合文本描述的材料。

本论文的亮点在于提出了一种新的方法来生成3D网格材料，相比现有的方法，该方法支持高质量渲染和大量编辑，而且不需要大量的配对数据来训练材质图生成模型。在实验方面，本论文在多个数据集上进行了广泛的实验，证明了该框架在逼真度、分辨率和可编辑性方面的卓越性能。此外，本论文的代码已经公开。

最近的相关研究包括使用GAN生成材料的方法，以及使用材质图像的方法来生成3D网格材料。其中一些相关论文包括：《MaterialGAN: Deep Material-aware Generative Adversarial Networks for Material Image Synthesis》、《TextureNet: Consistent Local Parametrizations for Learning from High-Resolution Signals on Meshes》等。