Audio2Rig: Artist-oriented deep learning tool for facial animation

创造逼真或风格化的面部和嘴唇同步动画是一项繁琐的任务。它需要大量的时间和技能来将嘴唇与音频同步，并传达正确的情感给角色的面部。为了让动画师花更多时间在动画的艺术和创造性部分，我们提出了Audio2Rig：一种基于深度学习的新工具，利用节目以前动画序列，从音频文件中生成面部和嘴唇同步动画。基于Maya，它可以从任何生产rig中学习，无需任何调整，并生成模仿节目风格的高质量和风格化的动画。由于Audio2Rig在rig控制器上生成关键帧，因此动画可以轻松地重新进行。该方法基于3个神经网络模块，可以学习任意数量的控制器。因此，可以为面部的特定部位（例如舌头、嘴唇或眼睛）创建不同的配置。使用Audio2Rig，动画师还可以选择不同的情感，并调整它们的强度以进行实验或自定义输出，并对关键帧设置进行高级控制。我们的方法表现出色，生成细节精细的动画，同时尊重节目的风格。最后，由于训练依赖于工作室数据并在内部完成，因此确保数据隐私并防止版权侵权。

论文旨在解决制作面部和唇部同步动画的耗时和技能要求高的问题，提出了一种基于深度学习的工具Audio2Rig，可以从音频文件中生成高质量的面部和唇部同步动画。

Audio2Rig是一个基于深度学习的工具，利用先前动画过的序列来生成面部和唇部同步动画，不需要调整任何制作rig的参数，可以学习任意数量的控制器，可以为面部的不同部位（如舌头，嘴唇或眼睛）创建不同的配置，动画可以通过控制器进行微调和重新生成。

论文提出的Audio2Rig工具可以提高动画师的工作效率和创造性，使他们更多地专注于艺术和创意的部分。该工具可以自动学习制作rig的参数，可以生成符合剧集风格的高质量动画，可以根据需要选择不同的情感和强度进行微调，可以通过控制器进行微调和重新生成。论文还展示了实验结果，证明了该方法的优越性。

在这个领域中，还有一些相关研究，如Deep Video Portraits、Lip Sync from Audio、Deep Audio-Visual Speech Recognition等。