TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation

将3D人物贴图与语义UV映射相结合仍然是一个挑战，因为获得合理展开的UV仍然很困难。尽管最近在使用大型文本到图像(T2I)模型监督多视角渲染方面取得了进展，但生成速度、文本一致性和纹理质量等问题仍然存在，导致现有数据集中数据稀缺。我们提出了TexDreamer，这是第一个零样本多模态高保真3D人体纹理生成模型。利用高效的纹理适应微调策略，我们将大型T2I模型适应到语义UV结构中，同时保留其原始的泛化能力。利用一个新颖的特征翻译器模块，训练好的模型能够在几秒钟内从文本或图像生成高保真的3D人体纹理。此外，我们还介绍了ArTicuLated humAn textureS (ATLAS)，这是最大的高分辨率(1024 X 1024) 3D人体纹理数据集，包含50k个高保真度的纹理和文本描述。

TexDreamer试图解决3D人体纹理生成中的数据稀缺问题，提出了一种零样本多模态高保真度3D人体纹理生成模型。

该模型利用文本自适应微调策略，将大型T2I模型适应于语义UV结构，同时保留其原始泛化能力，并利用新颖的特征转换器模块，使训练好的模型能够在几秒钟内从文本或图像生成高保真度的3D人体纹理。

ATLAS是最大的高分辨率3D人体纹理数据集，包含50k个高保真度的纹理，具有文本描述。实验结果表明，TexDreamer的生成速度快，质量高，与当前领域中的其他方法相比，具有更好的生成效果。

相关研究包括：1）使用GAN生成3D人体纹理；2）使用T2I模型生成3D模型纹理；3）使用UV映射生成3D人体纹理。其中的论文包括："Learning to Generate 3D-style Cartoon Characters from Natural Language"，"Textured Neural Avatars"，"Learning UV-Texture Embeddings for Shape and Pose Style Analysis"