Emotion and Intent Joint Understanding in Multimodal Conversation: A Benchmarking Dataset

《多模态对话中的情感和意图联合理解》（MC-EIU）旨在解码多模态对话历史中表现出的语义信息，同时推断当前话语的情感和意图。MC-EIU是许多人机界面的实现技术。然而，现有的数据集在注释、模态、语言多样性和可访问性方面存在不足。在本文中，我们提出了一个MC-EIU数据集，它包括7种情感类别、9种意图类别、3种模态，即文本、声音和视觉内容，以及两种语言，即英语和普通话。此外，该数据集完全开源，可以免费访问。据我们所知，MC-EIU是第一个全面且丰富的情感和意图联合理解数据集。随着数据集的发布，我们还开发了一个情感和意图交互（EI$^2$）网络作为参考系统，通过建模多模态对话中情感和意图之间的深度相关性。通过比较实验和消融研究，我们展示了EI$^2$方法在MC-EIU数据集上的有效性。数据集和代码将在以下网址提供：https://github.com/MC-EIU/MC-EIU。

本文旨在解决多模态对话中情感和意图理解的问题，并提供一个包含情感类别、意图类别、多种模态和语言的数据集，以及一个基于情感和意图交互的网络模型。这是否是一个新问题？

本文提出了一种情感和意图交互（EI$^2$）的网络模型，用于解决多模态对话中情感和意图理解的问题。相比当前领域的研究，这篇论文提出了一种新的思路，即将情感和意图视为相互交互的过程，并将其建模为一个联合学习问题。

本文提供了一个包含情感类别、意图类别、多种模态和语言的数据集（MC-EIU），并将其完全开源以供免费访问。此外，本文还开发了基于情感和意图交互的网络模型（EI$^2$），并通过比较实验和消融研究证明了其有效性。本文的贡献在于提供了一个全面且丰富的情感和意图联合理解数据集，并提出了一种新的情感和意图交互的网络模型。

最近在这个领域中，还有一些相关的研究。例如，"Multimodal Emotion and Intent Recognition: Survey of Recent Advances and Future Perspectives"，"A Multimodal Approach for Emotion and Intention Recognition in Human-Robot Interaction"，"Emotion and Intent Recognition in Multimodal Communication: A Review"等。