南洋理工大学|Bailando：具有编舞记忆的演员-评论家 GPT 的 3D 舞蹈生成

【标题】Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory

【作者团队】Li Siyao, Weijiang Yu, Tianpei Gu

【发表日期】2022.3.25

【论文链接】https://arxiv.org/pdf/2203.13055.pdf

【推荐理由】由于编舞规范对姿势施加的空间限制，驱动3D角色跟随音乐跳舞极具挑战性。 此外，生成的舞蹈序列还需要与不同的音乐流派保持时间一致性。 为了应对这些挑战，本文提出了一个新颖的音乐到舞蹈框架 Bailando，它具有两个强大的组件：1) 舞蹈记忆，它学习从 3D 姿势序列到量化代码，来总结有意义的舞蹈单元，2) 演员评论家 Generative Pre-trained Transformer (GPT) ，它将这些单元组合成与音乐连贯的流畅舞蹈。为了实现不同运动节奏和音乐节拍之间的同步对齐，作者向 GPT 引入了一种基于演员-评论家的强化学习方案，并具有新设计的节拍对齐奖励功能。 在标准基准上进行的大量实验表明，本文提出的框架在定性和定量上都达到了最先进的性能。值得注意的是，学习到的编舞记忆被证明能够以无人监督的方式发现人类可解释的舞蹈风格姿势。