Generation of Real-time Robotic Emotional Expressions Learning from Human Demonstration in Mixed Reality

在机器人与人类互动过程中，表达性行为对于有效传达其情绪状态至关重要。在本研究中，我们提出了一种框架，能够基于混合现实（MR）中捕捉到的专业人类示范，自动生成逼真且多样的机器人情绪表达。我们的系统允许专家以第一人称视角远程操控一个虚拟机器人，捕捉他们的面部表情、头部动作和上半身手势，并将这些行为映射到机器人相应的部件上，包括眼睛、耳朵、颈部和手臂。通过基于流匹配的生成过程，我们的模型能够实时学习生成连贯且多样化的行为，以响应移动的物体，并明确基于给定的情绪状态。初步测试验证了我们方法在生成自主表达方面的有效性。

论文试图解决机器人在与人类交互时难以自动生成逼真且多样化的表情行为的问题，旨在通过混合现实技术捕捉专家示范，从而实现机器人情感表达的自主生成。这是一个相对较新的问题，尤其在结合混合现实与生成模型进行机器人情感表达建模方面。

论文的关键思路是利用混合现实（MR）技术，从第一人称视角捕捉专家操控虚拟机器人时的面部、头部和上肢动作，并通过基于流匹配的生成模型，实时生成与情绪状态一致的多样化机器人表达行为。这一方法不同于传统基于规则或模仿学习的策略，而是强调生成过程的实时性、多样性与情绪条件控制。

1. 提出了一个结合混合现实与生成模型的新框架，用于机器人情感表达建模。 2. 利用第一人称视角进行专家示范采集，提升了数据的真实性和表现力。 3. 基于流匹配的生成模型能够实时生成连贯且多样化的行为，响应外部刺激并受情绪状态控制。 4. 初步实验验证了该方法在生成自主表达方面的有效性，展示了其在人机交互中的潜力。 5. 论文未明确提及是否开源代码或数据集，未来可能值得推动相关资源的开放以促进研究复现。

1. 《Affective Computing and Human-Robot Interaction: A Review》 2. 《EmotionGAN: Unsupervised Generation of Emotional Expressions in Robots Using Deep Learning》 3. 《Learning Socially Appropriate Robot Expressions from Human Demonstrations》 4. 《Real-time Facial Expression Synthesis for Social Robots Using Neural Networks》 5. 《Imitating Human Expressions on a Robot Face Using Mixed Reality and Reinforcement Learning》