GraVITON: Graph based garment warping with attention guided inversion for Virtual-tryon

虚拟试穿是计算机视觉中快速发展的领域，通过精确的衣服变形和与人体的无缝结合，改善了电子商务的客户体验。现有的方法如TPS和flow解决了衣服变形问题，但忽略了更细致的上下文细节。本文介绍了一种新颖的基于图形的变形技术，强调了衣服流中上下文的价值。我们的基于图形的变形模块生成了变形的衣服以及一个粗糙的人像图像，这被一个简单的细化网络利用，生成一个粗糙的虚拟试穿图像。所提出的方法利用潜在扩散模型生成最终的试穿效果，将衣服转移视为一个修补任务。扩散模型以视觉和文本信息的解耦交叉注意力为条件。我们引入了一个遮挡感知的变形约束，生成了密集的变形衣服，没有任何洞和遮挡。我们的方法在VITON-HD和Dresscode数据集上得到了验证，展示了显著的定性和定量结果，显示出在衣服变形、纹理保护和整体逼真度方面的显著改进。

本论文旨在解决虚拟试衣中现有方法忽略细节的问题，提出了一种基于图的变形技术，强调了上下文在服装流中的价值。

论文提出了一种基于图的变形技术，生成变形的服装和粗糙的人像图像，并利用简单的细化网络产生粗略的虚拟试穿图像。最后，利用潜在扩散模型作为修补任务，生成最终的虚拟试穿图像。

论文的方法在VITON-HD和Dresscode数据集上进行了验证，并获得了显著的定量和定性结果，展示了服装变形、纹理保留和整体逼真度的显著提高。论文的方法还引入了遮挡感知的变形约束，能够生成无洞和遮挡的密集变形服装。此外，论文还使用了基于交叉关注的反演视觉和文本信息的解耦方法进行条件扩散模型。

最近的相关研究包括："DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images"，"Towards Photo-Realistic Virtual Try-On by Adaptively Generating↔Preserving Image Content"等。