3D Paintbrush: Local Stylization of 3D Shapes with Cascaded Score Distillation

在这项工作中，我们开发了3D画笔技术，通过文本描述自动对网格的本地语义区域进行纹理贴图。我们的方法旨在直接操作网格，生成无缝集成到标准图形管道中的纹理贴图。我们选择同时生成定位图（以指定编辑区域）和符合其的纹理贴图。这种协同方法改善了定位和样式化的质量。为了增强纹理区域的细节和分辨率，我们利用级联扩散模型的多个阶段，用从不同分辨率的图像学习到的生成先验监督我们的本地编辑技术。我们的技术被称为级联分数蒸馏（CSD），它以级联的方式同时蒸馏多个分辨率的分数，使得可以控制监督的粒度和全局理解。我们展示了3D画笔在不同语义区域内局部纹理各种形状的有效性。项目页面：https://threedle.github.io/3d-paintbrush。

本文的问题是如何通过文本描述自动为网格的本地语义区域着色，并同时生成定位图和纹理图。这是否是一个新问题？

本文的关键思路是采用级联扩散模型来监督本地编辑技术，从不同分辨率的图像中学习生成先验知识，以提高纹理区域的细节和分辨率。本文的思路相比当前领域的研究有新意。

本文提出的技术名为Cascaded Score Distillation (CSD)，能够同时以级联的方式对多个分辨率进行得分蒸馏，从而控制监督的粒度和全局理解。实验使用了不同的语义区域和形状，并展示了3D Paintbrush的有效性。项目页面提供了开源代码。

最近在这个领域中的相关研究包括：1. Learning to Transfer Texture from Clothing Images to 3D Humans; 2. TextureNet: Consistent Local Parametrizations for Learning from High-Resolution Signals on Meshes; 3. Interactive Example-based Urban Layout Generation with Mixture-Modeling CNNs。