WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

我们提出了一种新的方法，独立于角色的形态和骨骼结构，用于理解运动数据集的周期性结构和语义。与使用过于稀疏的高维潜在变量的现有方法不同，我们提出了一个相位流形，由多个闭曲线组成，每个曲线对应一个潜在振幅。通过我们提出的矢量量化周期自编码器，我们学习了多个角色（如人和狗）的共享相位流形，而无需任何监督。这是通过利用离散结构和浅层网络作为瓶颈来实现的，从而将语义上相似的动作聚类到流形的同一曲线中，同一组件中的动作通过相位变量在时间上对齐。结合改进的运动匹配框架，我们展示了该流形在多个应用中的时间和语义对齐能力，包括运动检索、转移和风格化。本文的代码和预训练模型可在 https://peizhuoli.github.io/walkthedog 上获得。

本论文的问题是如何独立于角色的形态和骨骼结构，理解运动数据集的周期性结构和语义。该问题可以被视为一个新问题。

论文提出了一个相位流形的概念，由多个闭合曲线组成，每个曲线对应一个潜在振幅。通过向量量化周期自编码器，学习多个角色的共享相位流形，而不需要任何监督。该方法利用离散结构和浅层网络作为瓶颈，将语义相似的动作聚类到流形的同一曲线中，并通过相位变量在时间上对同一组件内的动作进行对齐。

论文的亮点包括：提出了相位流形的概念，实现了多个角色的共享相位流形的学习；在多个应用中展示了流形的时序和语义对齐能力，包括运动检索、转移和风格化；提供了代码和预训练模型。

在相关研究方面，最近也有一些相关的研究，例如《Motion Field Texture》和《Motion Graphs》等。