LLM-Driven Multimodal Opinion Expression Identification

意见表达识别（OEI）在自然语言处理中非常重要，可以应用于语音助手到抑郁症诊断等多种场景。本研究扩展了OEI的范围，将其包含多模态输入，强调了声音提示在传递情感细微差别方面的重要性，这是文本无法实现的。我们提出了一种新的多模态OEI（MOEI）任务，将文本和语音相结合，模拟真实场景。利用CMU MOSEI和IEMOCAP数据集，我们构建了CI-MOEI数据集。此外，我们还应用文本到语音（TTS）技术，获得了CIM-OEI数据集。我们为OEI任务设计了一个模板，充分利用了大型语言模型（LLMs）的生成能力。更进一步，我们提出了一种LLM驱动的方法STOEI，结合语音和文本模态来识别意见表达。我们的实验表明，MOEI显著提高了性能，而我们的方法比现有方法表现提高了9.20％，并获得了SOTA结果。

论文旨在扩展意见表达识别（OEI）到多模态输入，强调声音提示在传递情感细微差别方面的重要性，以及提出一种新的多模态OEI（MOEI）任务，结合文本和语音以模拟现实场景。

论文提出了一种基于大型语言模型（LLM）的STOEI方法，结合语音和文本模态来识别意见表达，取得了SOTA结果。

论文使用CMU MOSEI和IEMOCAP数据集构建了CI-MOEI数据集，并使用文本到语音（TTS）技术在MPQA数据集上获得了CIM-OEI数据集。实验结果表明，MOEI显著提高了性能，而STOEI方法的表现优于现有方法9.20％。

在这个领域中，最近的相关研究包括：1.《Multimodal sentiment analysis: A survey》2.《Multimodal Emotion Recognition: A Survey》3.《Multimodal Sentiment Analysis using Hierarchical Fusion with Context Modeling》