Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation

本文介绍了一种针对影视和游戏行业中高度需求的任务——将风格化角色动画与参考运动序列匹配的方法。现有的方法主要集中在角色身体的刚性变形，忽略了由物理动力驱动的服装的局部变形。它们将服装与身体以相同的方式变形，导致结果细节有限且存在不真实的瑕疵，例如身体穿透服装。相比之下，本文提出了一种新的方法，旨在实现高质量的运动转移和真实的服装动画。由于现有数据集缺乏生成真实服装动画所需的注释，本文构建了一个名为MMDMC的新数据集，该数据集将MikuMikuDance社区的风格化角色与现实世界的动作捕捉数据相结合。然后，本文提出了一种数据驱动的流程，通过两个神经变形模块学习将身体和服装变形分离。对于身体部位，本文提出了一个测地线注意力块，以有效地将语义先验信息纳入骨骼身体变形中，以处理风格化角色的复杂身体形状。由于服装运动可以显著偏离相应的身体关节，因此本文建议在非线性顶点位移场中建模服装变形，该场受其历史状态的影响。广泛的实验表明，本文的方法可以在各种类型的服装上产生优质的结果。我们的数据集已在https://github.com/rongakowang/MMDMC上发布。

本论文旨在解决现有方法在动画角色服装变形方面存在的问题，提出了一种新的方法来实现高质量的运动转移和逼真的服装动画。

该论文提出了一种数据驱动的流程，通过两个神经形变模块学习解开身体和服装变形，并采用地理关注块有效地将语义先验纳入骨骼身体形变中，以解决风格化角色的复杂身体形状问题。同时，该论文提出了一种非线性顶点位移场来建模服装变形，以解决服装运动与相应身体关节的显著偏差。

该论文构建了一个新的数据集MMDMC，该数据集将MikuMikuDance社区的风格化角色与现实世界的运动捕捉数据相结合，以生成逼真的服装动画。实验结果表明，该方法在各种类型的服装上产生了优越的质量。该数据集已在GitHub上公开。

最近的相关研究包括：'Learning to Dress 3D People in Generative Clothing'、'Neural Body Fitting: Unifying Deep Learning and Model-Based Human Pose and Shape Estimation'等。