Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering

我们介绍了Paint-it，一种通过神经重参数化纹理优化实现的文本驱动高保真度纹理贴图合成方法，用于3D网格。Paint-it通过优化合成纹理贴图，利用Score-Distillation Sampling（SDS）从文本描述中合成纹理贴图。我们发现直接应用SDS会产生不理想的纹理质量，因为其梯度存在噪声。我们揭示了使用SDS时纹理参数化的重要性。具体而言，我们提出了Deep Convolutional Physically-Based Rendering（DC-PBR）参数化，它使用随机初始化的基于卷积的神经核重新参数化物理渲染（PBR）纹理贴图，而不是标准的基于像素的参数化。我们展示了DC-PBR本质上根据纹理频率安排了优化课程，并自然地过滤掉了SDS中的噪声信号的重要性。在实验中，Paint-it仅在15分钟内，仅给出文本描述，就获得了出色的PBR纹理贴图质量。我们通过为大型网格数据集合成高质量的纹理贴图，并展示了使用流行的图形引擎进行测试时间应用，如重照和材质控制，展示了Paint-it的通用性和实用性。项目页面：https://kim-youwang.github.io/paint-it。

本文试图通过使用Score-Distillation Sampling (SDS)技术，结合深度学习的方法，实现从文本描述中合成高保真度的3D纹理贴图。

本文提出了一种新的基于深度学习的纹理参数化方法——Deep Convolutional Physically-Based Rendering (DC-PBR)，该方法使用卷积神经网络对物理渲染模型的纹理参数进行重新参数化，从而实现了优化过程中的噪声过滤和优化曲线的自适应调整。

本文的实验结果表明，Paint-it可以在15分钟内，仅通过文本描述，合成出高保真度的纹理贴图。此外，本文还在大规模的3D网格数据集上验证了Paint-it的泛化能力，并且展示了在流行的图形引擎中使用Paint-it进行灯光和材质控制的测试应用。本文的代码和数据集也已经开源。

在相关研究方面，最近的一些研究包括：1. Learning to Synthesize 3D Texture via GANs; 2. TextureGAN: Controlling Deep Image Synthesis with Texture Patches; 3. TextureNet: Consistent Local Parametrizations for Learning from High-Resolution Signals on Meshes。