WordRobe: Text-Guided Generation of Textured 3D Garments

本文提出了“WordRobe”框架，用于从用户友好的文本提示生成未定位和纹理化的三维服装网格。我们首先使用一种新的粗到细的训练策略和潜在分离损失来学习三维服装的潜在表示，促进更好的潜在插值，并将服装潜在空间与CLIP嵌入空间以弱监督的方式对齐，从而实现了文本驱动的三维服装生成和编辑。为了进行外观建模，我们利用ControlNet的零样本生成能力，通过单次前向推理生成视角一致的纹理贴图，从而大大降低了生成时间。我们通过定量评估和定性用户研究，展示了在学习三维服装潜在空间、服装插值和文本驱动纹理合成方面的优越性能，支持了我们对当前最优方法的超越。使用WordRobe生成的未定位的三维服装网格可以直接输入标准布料模拟和动画流水线，无需进行任何后处理。

本文旨在解决文本驱动的高质量纹理三维服装生成问题。这是一个新问题。

本文提出了一种名为WordRobe的框架，通过学习三维服装的潜在表示并将其与CLIP嵌入空间对齐，实现了文本驱动的三维服装生成和编辑。同时，使用ControlNet实现了零样本纹理生成，大大减少了生成时间。

本文通过定量评估和定性用户研究展示了WordRobe在学习三维服装潜在空间、服装插值和文本驱动纹理合成方面的优越性能。生成的三维服装网格可以直接输入标准的布料模拟和动画管道，无需后处理。本文使用了自己的数据集，并提供了开源代码。

最近在这个领域中，还有一些相关研究，如：'Fashion++: Minimal Edits for Outfit Improvement', 'Neural Garment Design', 'DressFormer: Robust Dress Fitting and Varying with Synthetic Humans', 'TextileGAN: Generating Fashion Design Images using Variational Autoencoders'.