Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment

我们在3D舞蹈生成领域引入了一个新的任务，称为“舞蹈伴奏”，它需要从一个舞伴“跟随者”中生成响应动作，与领舞者的动作和基础音乐节奏同步。与现有的独舞或群舞生成任务不同，二人舞蹈场景需要更高度的参与度，需要在姿势和位置上进行精细的协调。为了支持这个任务，我们首先通过记录约117分钟的专业舞者表演，建立了一个大规模且多样化的二人互动舞蹈数据集DD100。为了解决这个任务中固有的挑战，我们提出了一个基于GPT的模型Duolando，它自回归地预测下一个标记化的动作，条件是音乐、领舞者和跟随者的协调信息。为了进一步增强GPT在未见过的条件（音乐和领舞者动作）下生成稳定结果的能力，我们设计了一种离线策略强化学习策略，允许模型探索可行的轨迹，从人类定义的奖励中进行引导。基于收集的数据集和提出的方法，我们建立了几个精心设计的指标的基准。

论文旨在解决3D舞蹈生成中的新问题——舞伴伴舞，即生成与主导舞者动作和音乐节奏同步的响应性动作。这个问题需要更高度的互动和协调，是当前领域中的一个新问题。

论文提出了一个基于GPT的模型Duolando，通过条件生成下一个动作的方式，实现了舞伴伴舞的任务。此外，论文还设计了一个离线强化学习策略，以进一步提高模型在未知条件下的生成稳定性。

论文构建了一个大规模的互动舞蹈数据集DD100，并提出了一个新的舞伴伴舞任务。实验结果表明，提出的模型在生成舞蹈时表现出色，并且能够在未知条件下生成稳定的结果。此外，论文还提供了数据集和代码的开源。

最近的相关研究包括《Dance Dance Generation: Music Conditioned 3D Dance Generation with GANs》、《Dancing to Music: A Survey on Music-Conditioned Human Motion Generation》等。