OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on

这篇摘要介绍了基于图像的虚拟试穿技术（VTON），目的是生成一个穿着商店里服装的目标人物的图像，这是一个具有挑战性的图像合成任务，需要保证穿着服装的人的高保真度，同时完整地保留服装的细节。为了解决这个问题，作者提出了Outfitting over Try-on Diffusion（OOTDiffusion）方法，利用预训练的潜在扩散模型的能力，设计了一种新的网络架构，实现逼真且可控的虚拟试穿。作者提出了一种穿着UNet来学习服装细节特征，并通过我们提出的穿着融合方法，在扩散模型的去噪过程中将其与目标人体合并，而无需显式的变形过程。为了进一步增强我们的穿着UNet的可控性，作者引入了穿着dropout到训练过程中，这使得我们能够通过无需分类器的指导来调整服装特征的强度。作者在VITON-HD和Dress Code数据集上进行了全面的实验，证明OOTDiffusion能够高效地生成任意人物和服装图像的高质量穿着图像，其保真度和可控性均优于其他VTON方法，这表明在虚拟试穿领域取得了令人瞩目的突破。作者的源代码可在https://github.com/levihsu/OOTDiffusion上获得。

论文旨在解决虚拟试衣问题中的高保真度和服装细节保留问题，提出了Outfitting over Try-on Diffusion (OOTDiffusion)方法。

OOTDiffusion方法结合了预训练的潜在扩散模型和新颖的网络架构，通过不需要显式的变形过程的Outfitting UNet学习服装细节特征，并通过我们提出的Outfitting Fusion将其与目标人体融合，从而生成高质量的虚拟试衣图片。

论文在VITON-HD和Dress Code数据集上进行了全面的实验，展示了OOTDiffusion方法在任意人体和服装图像上生成高质量虚拟试衣图片的有效性和可控性，超越了其他虚拟试衣方法，具有重要的突破意义。论文提供了开源代码。

近期的相关研究包括：CP-VTON、STGAN、VIDIT等。