Driving Animatronic Robot Facial Expression From Speech

动物机器人的目标是通过逼真的面部表情实现自然的人机交互。然而，由于面部生物力学和响应运动合成的复杂性，生成逼真的、与语音同步的机器人表情是具有挑战性的。本文提出了一种基于皮肤为中心的原则性方法，以从语音驱动动物机器人面部表情。所提出的方法采用线性混合皮肤（LBS）作为核心表示，以指导紧密集成的具有创新性的体现设计和运动合成。LBS通知致动拓扑结构，使人类表情重定向成为可能，并允许以语音驱动的面部运动生成。所提出的方法能够从语音中实时生成高度逼真的面部表情，显著提高了机器人复制微妙人类表情以进行自然交互的能力。

本论文试图解决如何从语音中生成高度逼真的面部表情的问题。这是一个新问题，因为面部表情的生动再现对于自然的人机交互至关重要。

本论文提出了一种基于线性混合蒙皮（LBS）的方法，通过紧密集成的体现设计和运动合成创新来驱动动画机器人面部表情。该方法可以生成高度逼真的、实时的面部表情，并显著提高机器人复制微妙人类表情的能力。

本论文的亮点在于采用了LBS作为核心表示，可以引导驱动拓扑结构，实现人类表情重定向，以及实现从语音驱动的面部运动生成。实验结果表明，该方法可以在动画机器人面部上实现高度逼真的面部表情。

近期在这个领域中的相关研究包括：1.《Realistic Facial Animation with GAN》；2.《Speech-driven Facial Animation Using Generative Adversarial Networks》；3.《A Survey on Facial Animation for Virtual Characters》等。