DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

服装在人类外貌中的重要作用凸显了服装数字化对数字人类创造的重要性。近年来，3D内容创作的进步对数字人类创造至关重要。然而，从文本指导中生成服装仍处于初级阶段。我们介绍了一个文本驱动的3D服装生成框架DressCode，旨在为初学者民主化设计，并在时尚设计、虚拟试穿和数字人类创造方面提供巨大潜力。我们首先介绍了SewingGPT，这是一个基于GPT的架构，将交叉注意力与文本条件嵌入相结合，以文本指导生成缝纫图案。然后，我们调整了一个预训练的稳定扩散来生成基于瓷砖的物理渲染（PBR）纹理，用于服装。通过利用大型语言模型，我们的框架通过自然语言交互生成CG友好型服装。它还促进了图案完成和纹理编辑，通过用户友好的交互简化了设计过程。该框架通过允许创作者自由地尝试设计并将独特元素融入其作品来促进创新。通过与其他最先进方法的全面评估和比较，我们的方法展示了优越的质量和与输入提示的对齐性。用户研究进一步验证了我们高质量的渲染结果，突显了它在生产环境中的实用性和潜力。我们的项目页面是https://IHe-KaiI.github.io/DressCode/。

该论文旨在介绍一种基于文本驱动的三维服装生成框架，名为DressCode，以便于服装数字化和数字人类的创建。作者试图解决从文本指导中生成服装的问题。

该论文提出了一种基于GPT的架构，名为SewingGPT，它结合了交叉注意力和文本条件嵌入来生成带有文本指导的缝纫图案。同时，作者还使用预先训练的Stable Diffusion来生成基于物理的渲染纹理。通过利用大型语言模型，该框架可以通过自然语言交互生成CG友好型服装。

该论文的亮点包括：使用文本驱动的三维服装生成框架；提出了一种基于GPT的架构，名为SewingGPT；使用预先训练的Stable Diffusion来生成基于物理的渲染纹理；通过自然语言交互生成CG友好型服装；通过用户研究验证了高质量渲染结果的实用性和潜力。

在这个领域中，最近的一些相关研究包括：1）Neural Garment Design，2）Fashion++：Minimal Edits for Outfit Improvement，3）Neural Virtual Try-On: A Survey。