GaussianVTON: 3D Human Virtual Try-ON via Multi-Stage Gaussian Splatting Editing with Image Prompting

电子商务的日益重要凸显了虚拟试衣(VTON)的重要性。然而，以往的研究主要集中在2D领域，并且严重依赖于大量的训练数据。对于3D VTON的研究主要集中在服装-身体形状的兼容性上，这是2D VTON广泛涵盖的主题。由于3D场景编辑的进展，现在已经通过多视角编辑将2D扩散模型适用于3D编辑。在这项工作中，我们提出了GaussianVTON，这是一种创新的3D VTON流程，将高斯喷洒（GS）编辑与2D VTON集成在一起。为了方便从2D到3D VTON的无缝过渡，我们首次提出仅使用图像作为3D编辑的提示。为了进一步解决问题，例如面部模糊、服装不准确和编辑过程中视角质量下降等问题，我们设计了一个三阶段的细化策略，逐渐减轻潜在问题。此外，我们引入了一种新的编辑策略，称为编辑召回重构(ERR)，以解决以前编辑策略的局限性，导致复杂的几何变化。我们的综合实验证明了GaussianVTON的优越性，提供了一种新的3D VTON视角，同时也为基于图像提示的3D场景编辑建立了一个新的起点。

本论文旨在解决3D虚拟试衣问题中，现有研究主要集中在2D领域并需要大量数据进行训练的问题，以及如何通过图像作为编辑提示来实现2D到3D的平滑过渡的问题。

本论文提出了一种创新的3D虚拟试衣流程——GaussianVTON，将高斯光斑编辑与2D虚拟试衣相结合。同时，首次提出了仅使用图像作为3D编辑提示的方法，并通过三阶段的精细化策略和Edit Recall Reconstruction (ERR)编辑策略解决了面部模糊、服装不准确和视角质量降低等问题。

本论文的实验结果表明GaussianVTON的优越性，并为3D虚拟试衣提供了新的视角和出发点。论文使用了多个数据集进行实验，并提供了开源代码。值得深入研究的工作包括如何进一步提高编辑的精度和速度，以及如何在更广泛的场景中应用GaussianVTON。

最近的相关研究包括基于2D的虚拟试衣、基于3D的服装形状兼容性研究等。其中，基于2D的虚拟试衣研究较为成熟，包括使用GAN生成虚拟模型、使用图像分割技术等。而基于3D的虚拟试衣研究主要集中在服装形状兼容性方面，本文提出的GaussianVTON为3D虚拟试衣提供了新的思路。