EmpathicStories++: A Multimodal Dataset for Empathy towards Personal Experiences

建模共情是一个复杂的任务，它根植于人际和体验维度的人类交互，是人工智能领域中一个尚未解决的难题。现有的共情数据集在捕捉共情响应的丰富性方面存在不足，通常仅限于实验室或表演场景，缺乏纵向数据，并且缺少自我报告标签。我们引入了一个新的多模态共情数据集：EmpathicStories++数据集（https://mitmedialab.github.io/empathic-stories-multimodal/），其中包含41个参与者分享脆弱经历并与AI代理阅读共情共鸣故事的53小时视频、音频和文本数据。EmpathicStories++是第一个关于共情的纵向数据集，它收集了社交机器人在参与者家中一个月的部署期间的数据，参与者与AI代理进行自然的、共情的讲故事互动。然后，我们引入了一个新的任务，即基于个人经验预测个体对他人故事的共情，分别在两个上下文中进行评估：参与者自己的个人分享故事的上下文和他们阅读故事的反思。我们使用最先进的模型对这个任务进行基准测试，为未来在上下文化和纵向共情建模方面的改进铺平道路。我们的工作为进一步研究开发共情AI系统和理解人类共情在真实世界环境中的复杂性提供了宝贵的资源。

本论文试图解决如何在人工智能系统中建模共情的问题，提出了一个新的多模态数据集EmpathicStories++，用于研究人们在与AI代理交互时的共情行为。

论文的关键思路是使用EmpathicStories++数据集，通过预测个体对他人故事的共情程度来建模共情。该数据集是首个长期的共情数据集，收集了41名参与者一个月内与AI代理进行自然的共情交互的视频、音频和文本数据。

该论文的亮点包括使用EmpathicStories++数据集进行长期共情建模的方法，以及使用最先进的模型来评估个体对他人故事的共情程度的效果。该论文的实验设计详细，数据集已开源。

在这个领域的相关研究包括使用情感识别来建模共情，以及使用虚拟代理来促进共情。相关论文包括《Affect-aware Virtual Agents and Robots: A Review of the Literature and Applications》和《Empathic Tutoring Software Agents using Real-time Eye Tracking》。