LayGA: Layered Gaussian Avatars for Animatable Clothing Transfer

本文提出了一种新的表示方法——分层高斯人形（LayGA），用于从多视角视频中实现逼真的可动画服装转移。该表示方法将身体和服装分别表示为两个层，以克服现有方法中身体和服装表示混杂在一起的问题，从而实现跨身份的虚拟试穿。此外，本文提出了两个训练阶段，分别是单层重建和多层拟合。在单层重建阶段，本文提出了一系列几何约束来重建光滑的表面，并同时获得身体和服装之间的分割。在多层拟合阶段，本文训练了两个单独的模型来表示身体和服装，并利用重建的服装几何形状作为3D监督，以实现更准确的服装跟踪。此外，本文还提出了几何和渲染层，用于实现高质量的几何重建和高保真度的渲染。总的来说，本文提出的LayGA实现了逼真的动画和虚拟试穿，并优于其他基线方法。

解决问题：论文旨在解决虚拟试衣过程中的多个问题，包括身体和服装的表示方式相互纠缠、服装滑动运动的跟踪和碰撞处理等。这些问题对于跨身份的虚拟试穿来说都是具有挑战性的。

关键思路：论文提出了一种新的身体和服装分离表示方法，称为Layered Gaussian Avatars（LayGA），旨在实现从多视角视频中进行照片般逼真的动态服装转移。LayGA使用高斯地图表示身体和服装，但将其分为两个独立的层，以便更好地处理服装滑动运动的跟踪和碰撞处理问题。为了解决LayGA中高斯地图的不足，论文提出了两阶段训练方法，包括单层重建和多层拟合。在单层重建阶段，论文提出了一系列几何约束来重建平滑的表面，并同时获得身体和服装之间的分割。接下来，在多层拟合阶段，论文训练了两个独立的模型来表示身体和服装，并利用重建的服装几何形状作为更准确的服装跟踪的3D监督。此外，论文还提出了几何和渲染层，用于高质量的几何重建和高保真度的渲染。

其他亮点：论文在多个数据集上进行了实验，证明了LayGA的有效性和优越性，实现了照片般逼真的动态服装转移和虚拟试穿。论文提供了开源代码，并且指出了一些有待深入研究的问题，例如如何进一步提高服装的细节和形状的准确性。

相关研究：最近的相关研究包括基于深度学习的虚拟试穿方法，如VITON和CP-VTON，以及基于物理引擎的方法，如Marvelous Designer。