报告主题：Duolando，基于followerGPT和离线强化学习的AI伴舞

报告日期：4月18日（周四）14:30-15:30

主题简介：

我们在3D舞蹈生成领域内引入了一个新的任务：AI伴舞，即，在背景音乐下为人类领舞者生成一个舞伴。与现有的单人或团体舞蹈生成任务不同，双人舞蹈场景需要两位参与者之间更高度的互动，要求在姿势和位置上进行精细的协调。为了这一任务，我们首先通过记录近两小时的专业舞者表演，构建了一个大规模且多样化的双人互动舞蹈数据集DD100。为了应对这一任务的挑战，我们提出了一个基于GPT的模型，Duolando，它可以自回归地根据音乐、领舞者和跟随者的动作预测后续的舞伴的动作。为了进一步增强GPT在未见条件（音乐和领舞者动作）下生成稳定结果的能力，我们设计了一种离策略强化学习策略，让模型从out-of-domain的采样中探索可行的轨迹。基于收集的数据集，我们建立了一个benchmark，包含几个精心设计的指标。

报告嘉宾：

李思尧是新加坡南洋理工大学MMLab三年级博士生，师从Chen Change Loy教授。在此之前，他是商汤科技的算法研究员。他目前的研究方向是AIGC。

扫描下方二维码

或点击「阅读原文」报名

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除