StableGarment: Garment-Centric Generation via Stable Diffusion

本文介绍了StableGarment，一个统一的框架，用于解决以服装为中心的生成任务，包括服装文本到图像、可控制的服装文本到图像、风格化的服装文本到图像和强大的虚拟试穿。主要挑战在于保留服装的复杂纹理，同时保持预先训练的Stable Diffusion的灵活性。我们的解决方案涉及开发一个服装编码器，一个带有加性自注意力（ASA）层的可训练的去噪UNet的可训练副本。这些ASA层是专门设计用于转移详细的服装纹理，同时也便于集成风格化的基础模型，以创建风格化的图像。此外，专门的试穿控制网络的结合使得StableGarment能够精确执行虚拟试穿任务。我们还构建了一个新颖的数据引擎，产生高质量的合成数据，以保持模型遵循提示的能力。广泛的实验表明，我们的方法在现有的虚拟试穿方法中提供了最先进的结果，并展示了高度的灵活性，具有在各种以服装为中心的图像生成方面的广泛潜力应用。

本论文旨在提出一种统一的框架，即StableGarment，用于解决与服装相关的图像生成任务，包括服装文本到图像、可控制的服装文本到图像、风格化的服装文本到图像和鲁棒的虚拟试穿。该框架的主要挑战在于在保持预先训练的Stable Diffusion的灵活性的同时保留服装的复杂纹理。

该论文的关键思路是开发了一个服装编码器，一个可训练的去噪UNet的副本，配备了自适应自注意力（ASA）层。这些ASA层专门设计用于传输详细的服装纹理，还有助于集成风格化的基础模型以创建风格化的图像。此外，加入了一个专门的试穿控制网络，使StableGarment能够精确执行虚拟试穿任务。还建立了一种新颖的数据引擎，产生高质量的合成数据，以保持模型遵循提示的能力。

该论文的亮点包括：（1）提出了一种统一的框架，可用于解决多个与服装相关的图像生成任务；（2）开发了一种服装编码器，用于传输详细的服装纹理，并集成了风格化的基础模型；（3）加入了一个专门的试穿控制网络，使StableGarment能够精确执行虚拟试穿任务；（4）建立了一种新颖的数据引擎，产生高质量的合成数据，以保持模型遵循提示的能力。实验使用了多个数据集，证明了该方法在虚拟试穿方面取得了最先进的结果。

最近的相关研究包括：（1）Dressing on the People: A Unified Benchmark for Garment Transfer（2）Towards Photo-Realistic Virtual Try-On by Adaptively Generating↔Preserving Image Content（3）Fashion++: Minimal Edits for Outfit Improvement（4）Learning to Dress 3D People in Generative Clothing（5）TailorNet: Predicting Clothing in 3D as a Function of Human Pose、Shape and Garment Style。