近日,网易互娱 AI Lab 在 SIGGRAPH 2021 官方精选预告片上展现了其首个符合实际生产环境应用要求的舞蹈动画合成系统 ChoreoMaster。该系统可依据音乐风格生成爵士、二次元、街舞等不同类型的舞蹈动画,目前已为网易旗下的多款游戏项目产出了数个小时的高质量舞蹈动作资源。
网易互娱 AI LAB 与清华大学合作对该方案进行了系统性技术梳理,并撰写论文《ChoreoMaster: Choreography-Oriented Music-Driven Dance Synthesis》。该文章已被 SIGGRAPH 2021 接收,入选 SIGGRAPH 2021 Technical Papers Preview Trailer(精选预告片),同时也将在计算机动漫节( Computer Animation Festival ,CAF)上播放。
舞蹈动画在游戏和影视行业已非常普遍,目前业内制作舞蹈动画大多采用的是手 K 或动捕,生产一段高质量的舞蹈动画依然需要耗费大量的时间和精力。因此 AI 合成舞蹈成为时下热门的研究课题。但舞蹈作为一种独立的艺术形式,其动作与配乐在风格、节奏和结构等方面无一不透露出编舞学的专业知识,想要稳定输出高质量的结果并非易事。尽管业界也曾出现过多项红极一时的研究成果,如 AI Choreographer 和 DanceNet3D,然而这些方案并未落地于实际商业生产应用。
Cap从左到右分别为 AI Choreographer、DanceNet3D 和 ChoreoMaster 输入 hip hop 乐曲后的生成效果tion
历经两年多的潜心研发,网易互娱 AI LAB 的研发团队提出了符合实际生产环境应用要求的 AI 舞蹈动画合成方案 ChoreoMaster。该方案的亮点在于:除了能够快速稳定地输出一段符合编舞美学、符合多种舞种风格、连贯自然的舞蹈动画以外,还灵活支持丰富的约束方式来指导算法按照用户期望的方向合成舞蹈动画,如可替换或删除指定片段、预设舞蹈轨迹和限制舞蹈范围等。

内容中包含的图片若涉及版权问题,请及时与我们联系删除