OmniVTON: Training-Free Universal Virtual Try-On

基于图像的虚拟试穿（VTON）技术要么依赖于监督式的店内方法，这类方法虽然能保证高保真效果，但在跨域泛化方面存在困难；要么采用无监督的野外方法，这类方法提高了适应性，但仍受限于数据偏差和通用性不足。目前仍缺乏一种统一的、无需训练的解决方案来应对这两种场景。我们提出了OmniVTON，这是首个无需训练的通用VTON框架，通过将服装和姿态条件分离，实现了在各种场景下都兼具纹理保真度和姿态一致性。为了保留服装细节，我们引入了一种服装先验生成机制，使服装与身体对齐，随后采用连续边界缝合技术以实现精细的纹理保留。为了实现精确的姿态对齐，我们利用DDIM逆变技术捕捉结构线索，同时抑制纹理干扰，确保身体对齐的准确性，而不受原始图像纹理的影响。通过将服装和姿态约束解耦，OmniVTON消除了扩散模型在处理多个条件时固有的偏差。实验结果表明，OmniVTON在多种数据集、服装类型和应用场景中均表现出色。值得注意的是，它是首个能够实现多人虚拟试穿的框架，可在单个场景中实现多个人物之间逼真的服装迁移。代码地址为 https://github.com/Jerome-Young/OmniVTON

论文旨在解决图像驱动的虚拟试衣（Image-based Virtual Try-On, VTON）技术中的两个关键问题：一是监督式店内方法虽然生成效果高保真，但在跨域场景下泛化能力差；二是无监督野外方法虽然适应性强，但受限于数据偏差和缺乏通用性。论文试图提出一个统一的、无需训练的解决方案，能够在各种场景下都表现良好。

论文的核心思路是提出OmniVTON，这是第一个无需训练的通用VTON框架。其关键创新在于将服装（garment）和姿态（pose）的条件控制解耦，分别处理以确保在多样场景下同时保持纹理保真度和姿态一致性。具体包括：1）服装先验生成机制与连续边界缝合技术用于保留服装细节；2）利用DDIM逆过程提取结构信息，抑制纹理干扰，实现精准姿态对齐。

1. 首次实现多人体虚拟试衣（multi-human VTON），可在单个场景中实现多人之间的服装真实转移。 2. 实验涵盖多个数据集、服装类型和应用场景，验证了方法的广泛适用性和优越性能。 3. 代码已开源（https://github.com/Jerome-Young/OmniVTON），便于后续研究和应用。 4. 通过解耦服装和姿态约束，有效缓解了扩散模型在多条件控制下的偏倚问题。

1. CP-VTON: Clothing-Person VTON with Adversarial Shape-Aware Warping (CVPR 2022) 2. VITON-HD: High-Resolution Virtual Try-On via Hierarchical Composition and Refinement (ECCV 2022) 3. DressCode: High-Resolution Virtual Try-On via Asymmetric-Shape Normalization and Inpainting (CVPR 2023) 4. Flow-Steered Person Image Generation for Virtual Try-On (ICCV 2023) 5. Diffusion-based Virtual Try-On with Pose-Aware Garment Editing (NeurIPS 2023 Workshop)