ERR@HRI 2024 Challenge: Multimodal Detection of Errors and Failures in Human-Robot Interactions

尽管机器人和机器学习（ML）最近取得了很大进展，但在我们的日常生活中部署自主机器人仍然是一个开放的挑战。这是由于多种原因，其中包括它们经常犯错，例如打断人们或反应迟钝，以及它们有限的理解人类语言的能力，即在将语音转录为文本等任务中失败。这些错误可能会破坏互动，并对人们对这些机器人的看法产生负面影响。为了解决这个问题，机器人需要具有检测人机交互（HRI）故障的能力。 ERR@HRI 2024挑战通过提供一个基准多模态机器人故障数据集来解决这个问题，该数据集记录了人机交互（HRI）期间机器人故障的情况，并鼓励研究人员开发和基准测试多模态机器学习模型来检测这些故障。我们创建了一个数据集，其中包括与机器人教练互动的视频剪辑中的多模态非语言交互数据，包括面部、语音和姿势特征，并用标签注释了机器人错误、用户尴尬和交互中断的存在或不存在，从而允许训练和评估预测模型。挑战参与者被邀请提交其多模态ML模型以检测机器人错误，并根据各种性能指标进行评估，例如准确性、精确度、召回率、F1得分，以及反映这些指标时间敏感性的误差边界。这个挑战的结果将帮助研究领域更好地理解人机交互中的机器人故障，并设计能够在成功检测到故障后减轻自身错误的自主机器人。

论文旨在解决自主机器人在人机交互中出现错误的问题，并提供一个多模态数据集，以便研究人员可以开发和评估机器学习模型来检测这些错误。

论文提出了一个基于多模态数据的机器学习模型来检测自主机器人在人机交互中出现的错误，并提供了一个新的数据集ERR@HRI 2024，用于评估这些模型的性能。

论文提供了一个新的数据集ERR@HRI 2024，用于评估机器学习模型的性能。该数据集包含多模态非语言交互数据，包括来自与机器人教练的交互视频剪辑的面部、语音和姿势特征，并注释了机器人错误、用户尴尬和交互中断的标签。此外，论文还邀请研究人员提交他们的机器学习模型，并根据准确性、精度、召回率、F1得分等各种性能指标进行评估。

在这个领域中，还有一些相关的研究，如："Human-Robot Interaction: A Survey"、"Robot Learning from Demonstration"等。