Emotion and Intent Joint Understanding in Multimodal Conversation: A Benchmarking Dataset

本文旨在实现对多模态对话历史中表现出的语义信息的解码，同时推断当前话语的情感和意图。MC-EIU是许多人机界面的实现技术。然而，目前缺乏可用的数据集，涉及注释、模态、语言多样性和可访问性。在本研究中，我们提出了一个MC-EIU数据集，其中包含7种情感类别、9种意图类别、3种模态（文本、声音和视觉内容）和两种语言（英语和普通话）。此外，该数据集完全开放源代码，免费访问。据我们所知，MC-EIU是第一个用于多模态对话的综合且丰富的情感和意图联合理解数据集。与数据集的发布一起，我们还开发了一种情感和意图交互（EI²）网络作为参考系统，通过建模多模态对话中情感和意图之间的深层关联。通过比较实验和削减研究，我们证明了在MC-EIU数据集上EI²方法的有效性。数据集和代码将在以下网址上提供：https://github.com/MC-EIU/MC-EIU。

本论文旨在解决缺乏注释、多模态、语言多样性和可访问性的情况下，对多模态对话历史中表现出的语义信息进行解码，同时推断当前话语的情感和意图的问题。

本论文提出了MC-EIU数据集和EI$^2$网络，通过建模多模态对话中情感和意图之间的深层次关联，解决了多模态对话中情感和意图联合理解的问题。

本论文提出了一个包含7种情感类别、9种意图类别、3种模态（文本、声学和视觉内容）和两种语言（英语和普通话）的MC-EIU数据集，并且完全开源，可供免费访问。此外，本论文还开发了EI$^2$网络作为参考系统，通过比较实验和消融研究，证明了EI$^2$方法在MC-EIU数据集上的有效性。

最近在这个领域中，还有一些相关的研究，例如“Emotion and Intent Recognition in Multimodal Conversations Using Transfer Learning”和“Multimodal Emotion and Intent Recognition in Social Robots”。