论文地址：https://arxiv.org/pdf/2203.02574.pdf

摘要

运动样式转移是丰富角色动画的常见方法。运动样式转移算法通常是为在段中处理动作的离线设置而设计的。但是，对于在线动画应用程序，例如运动捕获的实时阿凡达动画，需要将动作作为具有最小延迟的流进行处理。在这项工作中，我们实现了一种灵活的高质量运动样式转移方法，用于此设置。我们提出了一种新型的样式转移模型，即Style-ERD，以在线方式使用编码器重新编码器结构进行风格化动作，并与一个新颖的歧视器相结合，引起了人们的注意和时间的关注。我们的方法将运动风格化为具有统一模型的多种目标样式。尽管我们的方法针对在线设置，但它在运动现实主义和样式表现力方面的表现优于先前的离线方法，并在运行时效率方面具有显着提高。

主要贡献

这项工作的贡献如下：（1）我们介绍了在线运动样式转移问题，并旨在激发未来的研究，以促进实时动画应用程序。 （2）我们提出了一个新颖的框架，Style-ERD以及一个新的监督模块，即FT-ATT歧视器，以最小的延迟来实现样式转移运动的目标。与当前的最新方法相比，我们的样式转移框架可减少计算时间。 （3）我们的方法可以以高保真度将运动转移到其风格上对应物中，与离线方法相比，表现出更好的样式转移。

方法

我们的目标是开发具有高质量转移和最小延迟的在线运动风格转移算法。特别是，我们试图减少每个时间步中所需的输入帧数，以综合目标样式的当前帧。但是，随着输入帧的较少，样式传输模型可能会错误地解释样式和内容。因此，我们利用一个经常性模型来维护样式和内容的相关估计。我们的框架包括三个组件：样式传输模块，样式监督模块和内容监督模块。我们的方法的概述如图2所示。

受ERD框架[7]的启发，我们将样式传输模块命名为“样式”。它的特征是多次复发残差连接和隐藏的状态，这些状态已经学习了以输入为条件的初始值。新颖的复发残差连接在我们方法的成功中起着关键作用，因为过去框架的内存提供了有关当前帧的样式和内容信息，而残差捕获了每种样式的特征。 Style-ARD模型实现了实时从每个帧输入的样式传输的目标。

仅与重建损失一起使用时，样式传输模块（样式绿色）可以提供差的样式转移。在转移任务之前和之后的样式和内容进行调节可以增强样式转移效果。两个监督模块都采用多个运动框架作为输入。该多帧输入对监督模块并不妨碍我们方法的在线属性，因为在推理时没有使用监督模块。我们提出了一种新颖的注意机制，该机制涵盖了样式歧视器FT-Att Incistiminator中功能地图的特征空间和时间空间，以启用样式传输模块，以避免模式爆发问题，否则这些问题将排除在所需的样式中建模的样式。和内容。内容监督模块采用感知损失的概念[22]，其功能侧重于运动内容。

实验

我们根据Xia等人提供的数据集测试我们的框架。 [57]。我们首先将样式转移结果与以前的离线样式传输方法[1，38]进行比较。我们采用[38]中提出的定量fr ́ echet运动距离（FMD）度量，以评估转移结果的质量，这是Fr ́ echet Inception Inception距离（FID）的变体[16]。我们训练一个Denoising AutoCoder作为FMD的功能提取器。此外，我们根据三个标准对转移结果进行定性评估：样式表达性，时间一致性和内容保存。此外，我们进行了一项用户研究以评估转移结果的质量，这在补充材料中进行了描述。其次，我们衡量方法的运行时效率，以评估在实时在线应用程序中使用的可行性。我们还证明，输入帧不足会降低离线样式转移方法的结果[1，38]，并且我们的方法在在线传输设置中效果很好，延迟最小。然后，我们实验转移模块样式成分的插值。最后，我们测试方法的概括属性。为了更好地可视化和比较，我们将读者推荐给我们的补充视频和材料。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除