GaussianVTON: 3D Human Virtual Try-ON via Multi-Stage Gaussian Splatting Editing with Image Prompting

电子商务的日益突出凸显了虚拟试穿（VTON）的重要性。然而，以前的研究主要集中在2D领域，并且依赖于大量的训练数据。对于3D VTON的研究主要集中在服装-身体形状的兼容性上，这是在2D VTON中广泛涵盖的一个主题。由于3D场景编辑的进展，通过多视角编辑，现在已经将2D扩散模型适应于3D编辑。在这项工作中，我们提出了GaussianVTON，这是一种创新的3D VTON流程，将高斯喷洒（GS）编辑与2D VTON集成。为了实现从2D到3D VTON的无缝过渡，我们首次提出仅使用图像作为3D编辑的提示。为了进一步解决问题，例如面部模糊，服装不准确和编辑过程中视角质量下降等问题，我们设计了一个三阶段的改进策略，逐步减轻潜在的问题。此外，我们引入了一种新的编辑策略，称为Edit Recall Reconstruction（ERR），以解决以前编辑策略的局限性，导致复杂的几何变化。我们的全面实验证明了GaussianVTON的优越性，为3D VTON提供了新的视角，同时也为基于图像提示的3D场景编辑建立了一个新的起点。

本篇论文旨在解决三维虚拟试衣（VTON）中存在的问题，尤其是如何在三维编辑中使用图像作为编辑提示，并解决面部模糊、衣物不准确和视角质量降低等问题。

该论文提出了一种创新的三维VTON流程，将高斯喷洒（GS）编辑与二维VTON相结合，并首次将图像作为三维编辑的提示。为了进一步解决一些问题，该论文还设计了三阶段的细化策略，以逐步缓解潜在问题。

该论文的亮点包括：使用图像作为三维编辑的提示，提出了三阶段的细化策略来解决一些问题，引入了一种名为ERR的新的编辑策略来解决以前策略的局限性。实验结果表明，GaussianVTON的效果优于其他方法，为三维VTON提供了一种新的视角，同时也为图像提示的三维场景编辑建立了一个新的起点。

最近的相关研究包括：基于2D VTON的衣服形状和身体形状兼容性研究，以及使用多视点编辑将2D扩散模型适应于三维编辑。