DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

服装在人类外观中的重要作用凸显了服装数字化对于数字人类创造的重要性。最近3D内容创作的进展对于数字人类创造至关重要。然而，基于文本指导的服装生成仍处于萌芽阶段。我们介绍了一个文本驱动的3D服装生成框架DressCode，旨在为新手民主化设计，并在时尚设计、虚拟试穿和数字人类创造方面提供巨大潜力。我们首先介绍了SewingGPT，这是一个基于GPT的架构，通过文本条件嵌入和交叉注意力生成带有文本指导的缝纫图案。然后，我们调整了一个预训练的稳定扩散来生成基于瓷砖的物理渲染（PBR）纹理。通过利用大型语言模型，我们的框架通过自然语言交互生成CG友好的服装。它还促进了图案完成和纹理编辑，通过用户友好的交互简化了设计过程。这个框架通过允许创作者自由尝试设计并将独特元素融入他们的作品来促进创新。通过全面的评估和与其他最先进方法的比较，我们的方法展示了卓越的质量和与输入提示的对齐。用户研究进一步验证了我们高质量渲染结果，突出了其在生产环境中的实用性和潜力。我们的项目页面是https://IHe-KaiI.github.io/DressCode/。

论文旨在通过文本驱动的三维服装生成框架DressCode解决服装数字化对于数字人类创建的重要性，并提供在时尚设计、虚拟试穿和数字人类创建方面的巨大潜力。

DressCode框架通过整合交叉注意力和文本条件嵌入的基于GPT的SewingGPT架构生成缝纫图案，并使用预训练的Stable Diffusion生成基于物理的渲染纹理，从而实现通过自然语言交互生成CG友好的服装。

DressCode框架可以帮助初学者实现设计，简化设计流程，还可以促进创新，让设计师自由地尝试设计并将独特元素融入他们的作品中。论文使用了大量的语言模型进行生成，并进行了全面的评估和与其他最先进方法的比较，证明了其优秀的质量和与输入提示的对齐性。用户研究进一步验证了其高质量的渲染结果，在生产环境中具有实际效用和潜力。

在这个领域中，还有一些相关研究，如FashionGAN、Fashion++和TailorNet等。