Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering

我们提出了Paint-it，一种基于神经重参数纹理优化的文本驱动高保真度纹理贴图合成方法，可用于3D网格。Paint-it通过优化合成来自文本描述的纹理贴图，利用了Score-Distillation Sampling（SDS）。我们观察到直接应用SDS会产生不理想的纹理质量，因为其存在噪声梯度。我们揭示了在使用SDS时纹理参数化的重要性。具体而言，我们提出了Deep Convolutional Physically-Based Rendering（DC-PBR）参数化，其使用随机初始化的基于卷积的神经核重新参数化基于物理的渲染（PBR）纹理贴图，而不是标准的基于像素的参数化。我们展示了DC-PBR固有地根据纹理频率调度优化课程，并自然地过滤掉SDS的噪声信号。在实验中，Paint-it在15分钟内仅给出文本描述即可获得出色的PBR纹理贴图质量。我们通过为大规模网格数据集合成高质量纹理贴图并展示使用流行图形引擎的测试时间应用，展示了Paint-it的普适性和实用性。项目页面：https://kim-youwang.github.io/paint-it

解决问题：论文试图通过文本驱动的高保真度纹理映射合成方法，利用得分蒸馏采样（SDS）进行优化合成纹理贴图，解决从文本描述中合成纹理贴图的问题。

关键思路：论文提出了深度卷积物理渲染（DC-PBR）参数化方法，利用卷积神经核重新参数化物理渲染（PBR）纹理贴图，将优化课程调度到纹理频率上，并自然过滤SDS中的噪声信号。

其他亮点：论文在仅有文本描述的情况下，仅需15分钟即可合成出高质量的PBR纹理贴图。论文通过大规模网格数据集合成高质量纹理贴图，并在流行的图形引擎中展示了测试时间应用，如重新照明和材料控制。论文提供了项目页面，并开源了代码。

相关研究：最近的相关研究包括文本驱动的图像合成，基于深度学习的纹理合成，以及基于物理的渲染。