M$^3$GPT: An Advanced Multimodal, Multitask Framework for Motion Comprehension and Generation

本文介绍了M$^3$GPT，一种先进的多模态、多任务框架，用于动作理解和生成。M$^3$GPT基于三个基本原则。第一原则是创建一个统一的表示空间，用于各种与动作相关的模态。我们采用离散向量量化来处理多模态控制和生成信号，例如文本、音乐和动作/舞蹈，从而实现与单一词汇表的大型语言模型（LLM）的无缝集成。第二个原则是直接在原始动作空间中建模生成模型。这种策略规避了与离散分词器相关的信息损失，从而产生更详细和全面的模型生成。第三个原则是M$^3$GPT学习建模各种与动作相关的任务之间的联系和协同作用。文本是LLMs最熟悉和最易理解的模态，被用作建立不同动作任务之间联系的桥梁，促进相互强化。据我们所知，M$^3$GPT是第一个能够基于多个信号理解和生成动作的模型。广泛的实验突出了M$^3$GPT在各种与动作相关的任务中的优越性能以及其强大的零-shot泛化能力，适用于极具挑战性的任务。

本文旨在提出一种多模态、多任务框架，用于运动理解和生成。该模型旨在解决多模态控制和生成信号的统一表示问题，以及在原始运动空间中直接建模的信息丢失问题，同时学习建模不同运动相关任务之间的连接和协同作用。

本文提出了M$^3$GPT框架，采用离散向量量化，将文本、音乐和运动/舞蹈等多模态控制和生成信号集成到一个大型语言模型中，并在原始运动空间中直接建模，以避免离散分词带来的信息丢失。同时，使用文本作为桥梁来建立不同运动任务之间的联系，促进相互强化。

M$^3$GPT是第一个能够基于多个信号理解和生成运动的模型。实验表明，M$^3$GPT在各种运动相关任务上表现出优异的性能，并具有强大的零样本泛化能力。该模型使用了多个数据集，并开源了代码。

最近的相关研究包括：《Dance Revolution: Long Sequence Dance Generation with Music via Curriculum Learning》、《Music-to-Dance Generation via Groove Transfer Learning》、《Multimodal Transformer for Unaligned Multimodal Language Sequences》等。