Time-Efficient and Identity-Consistent Virtual Try-On Using A Variant of Altered Diffusion Models

本研究讨论了当代电子商务和未来元宇宙中虚拟试穿的关键问题，强调了在不同场景下保留目标人物和衣服的复杂纹理细节和独特特征的挑战，例如服装纹理和身份特征，如纹身或饰品。除了合成图像的保真度外，合成过程的效率也是一个重要的障碍。探讨了各种现有方法，突出了其局限性和未解决的方面，例如身份信息遗漏、无法控制的伪影和低合成速度。然后提出了一种新颖的基于扩散的解决方案，以在虚拟试穿过程中解决服装纹理保留和用户身份保留的问题。所提出的网络包括两个主要模块——一个对齐模块，将服装与个体特征对齐，一个试穿模块，对服装进行细化处理，并生成缺失部分，集成了一个面具感知的后处理技术，确保个体身份的完整性。研究结果表明，在推断过程中，所提出的方法的速度比最先进的方法快近20倍，在定性评估方面具有卓越的保真度。定量评估证实，在VITON-HD和Dresscode数据集上，与最近的SOTA方法具有可比性的性能。

本文旨在解决虚拟试衣中保留服装细节和个人特征的问题，同时提高合成效率。

文章提出了一种基于扩散的网络解决方案，包括衣服对齐模块、试穿模块和面具感知后处理技术，能够在保持个人身份完整性的同时，提高合成速度和图像质量。

文章的实验结果表明，在速度和质量方面都超过了当前最先进的方法，并在VITON-HD和Dresscode数据集上取得了可比较的性能。此外，文章还探讨了现有方法的局限性和未解决的问题，并提供了开源代码。

近期的相关研究包括："Towards Photo-Realistic Virtual Try-On by Adaptively Generating-Preserving Image Content"，"Learning to Transfer Texture from Clothing Images to 3D Humans"等。