Length-Aware Motion Synthesis via Latent Diffusion

我们的目标是合成人类运动的持续时间，这是一个关键属性，需要对运动动力学和风格进行建模控制。加速动作表演不仅仅是快进。然而，目前的人类行为合成技术在目标序列长度方面的控制能力有限。我们提出了从文本描述生成长度感知的3D人类运动序列的问题，并提出了一种新模型来合成可变目标长度的运动，我们称之为“长度感知潜在扩散”（LADiff）。LADiff由两个新模块组成：1）一个长度感知变分自编码器，用于学习具有长度依赖潜在代码的运动表示；2）一个长度符合的潜在扩散模型，用于生成具有丰富细节的运动，其细节随所需目标序列长度的增加而增加。在HumanML3D和KIT-ML这两个已建立的基准测试中，LADiff在大多数现有的运动合成指标上显著优于现有技术。

论文旨在解决从文本描述中生成长度可变的三维人体动作序列的问题，目前现有的人类行为合成技术对目标序列长度的控制有限。

LADiff是一种新的模型，由两个模块组成：1）一个长度感知的变分自编码器，用于学习具有长度相关的潜在编码的运动表示；2）一个长度一致的潜在扩散模型，用于生成具有细节丰富度的运动，其丰富度随所需的目标序列长度增加而增加。

LADiff在现有的人类行为合成度量标准中显著优于现有技术，并在HumanML3D和KIT-ML两个已建立的基准测试中进行了评估。实验使用了哪些数据集和开源代码，论文没有具体说明。

最近在这个领域中，还有一些相关的研究被进行，如：1）'Learning to Generate Long-term Future via Hierarchical Prediction'；2）'Learning to Generate Time-lapse Videos Using Multi-stage Dynamic Generative Adversarial Networks'。