UVMap-ID: A Controllable and Personalized UV Map Generative Model

最近，扩散模型在基于提供的文本提示合成逼真的2D人类图像方面取得了重大进展。在此基础上，研究人员将2D文本到图像扩散模型扩展到了3D领域，用于生成人类纹理（UV映射）。然而，UV映射生成模型仍存在一些重要问题，即如何为任何给定的面部图像生成个性化的纹理映射，以及如何定义和评估这些生成的纹理映射的质量。为了解决上述问题，我们引入了一种新的方法，即UVMap-ID，这是一种可控且个性化的UV映射生成模型。与2D中的传统大规模训练方法不同，我们建议微调预训练的文本到图像扩散模型，并将其与脸部融合模块集成，以实现ID驱动的定制生成。为支持微调策略，我们引入了一个小规模的属性平衡训练数据集，包括带标记文本和面部ID的高质量纹理。此外，我们引入了一些评估纹理多个方面的度量标准。最后，定量和定性分析均证明了我们的方法在可控和个性化UV映射生成方面的有效性。代码可通过https://github.com/twowwj/UVMap-ID公开获取。

UVMap-ID论文试图解决如何生成个性化的纹理贴图的问题，并提出了一种新的解决方案。

论文提出了一种基于预训练的文本到图像扩散模型的个性化UV Map生成方法，并引入了面部融合模块来实现ID驱动的定制化生成。

论文使用小规模的属性平衡训练数据集进行微调，提出了一些用于评估纹理贴图多方面质量的度量标准。实验结果表明，该方法在生成个性化UV Map方面具有很好的效果。代码已经公开发布。

最近的相关研究包括基于GAN的图像生成方法和其他基于扩散模型的图像生成方法，如DDPM和Glow。