Texture-Preserving Diffusion Models for High-Fidelity Virtual Try-On

图像虚拟试穿是在线购物中越来越重要的任务，它旨在合成穿着指定服装的特定人物的图像。最近，基于扩散模型的方法变得越来越受欢迎，因为它们在图像合成任务中表现出色。然而，这些方法通常采用额外的图像编码器，并依赖于交叉注意机制进行从服装到人物图像的纹理转移，这影响了试穿的效率和保真度。为了解决这些问题，我们提出了一种纹理保留扩散模型（TPD）用于虚拟试穿，它增强了结果的保真度，并且不需要额外的图像编码器。因此，我们从两个方面做出了贡献。首先，我们提出将被遮罩的人物和参考服装图像沿空间维度连接起来，并利用所得到的图像作为扩散模型去噪UNet的输入。这使得扩散模型中包含的原始自注意力层能够实现高效准确的纹理转移。其次，我们提出了一种新的基于扩散的方法，基于人物和参考服装图像预测出精确的修复遮罩，进一步增强了试穿结果的可靠性。此外，我们将遮罩预测和图像合成整合到一个紧凑的模型中。实验结果表明，我们的方法可以应用于各种试穿任务，如服装到人物和人物到人物的试穿，并在流行的VITON、VITON-HD数据库上显著优于现有最先进的方法。

本论文旨在解决虚拟试衣中的图像合成问题，提出了一种新的基于扩散模型的纹理保留算法，以提高合成效率和保留纹理细节。

论文提出了一种新的方法，将人物和参考服装图像沿空间维度连接成一个输入，使得扩散模型中的自注意力层可以实现高效和准确的纹理转移，同时使用扩散模型预测精确的修复掩模，以提高合成结果的可靠性。

本文提出的方法在VITON、VITON-HD等数据集上进行了实验，结果表明其在不同的虚拟试衣任务中均表现出色，并且相较于现有的方法有明显的优势。此外，本文还将掩模预测和图像合成融合到了一个紧凑的模型中，避免了使用额外的图像编码器。

最近的相关研究包括：[1] Learning to Transfer Texture from Clothing Images to 3D Humans; [2] Liquid Warping GAN: A Unified Framework for Human Motion Imitation, Appearance Transfer and Novel View Synthesis。