Evaluation of data inconsistency for multi-modal sentiment analysis

情感语义不一致是多模态情感分析中普遍存在的挑战。多模态情感分析涉及分析在各种模态下表达的情感，如文本、音频和视频。每种模态可能会传达情感的不同方面，由于人类表达的微妙和微妙之处，这可能会导致不一致，从而阻碍人工智能代理的预测。在这项工作中，我们介绍了一个模态冲突的测试集，并评估了传统的多模态情感分析模型和多模态大语言模型（MLLMs）的性能。我们的研究结果显示，传统模型在面对语义冲突数据时性能显著下降，并指出了MLLM处理多模态情感分析时的缺点。我们的研究提出了一个新的挑战，并为情感分析系统的未来发展提供了有价值的见解。

论文旨在解决多模态情感分析中情感语义不一致的问题，即不同模态之间表达情感的方式存在差异，导致传统和大型语言模型的性能下降。

论文提出了一种模态冲突测试集，并通过对传统多模态情感分析模型和大型语言模型的性能评估，发现传统模型在面对语义冲突数据时性能显著下降，同时指出大型语言模型在处理多模态情感分析时的缺陷。

论文的实验设计了模态冲突测试集，并使用了多个数据集进行评估。结果表明，传统多模态情感分析模型在处理语义冲突数据时性能下降，而大型语言模型的性能也不尽如人意。此外，论文还探讨了多模态情感分析的挑战和未来发展方向。

近期的相关研究包括：1. Multi-Modal Sentiment Analysis: A Survey；2. A Survey on Multimodal Sentiment Analysis；3. Multimodal Sentiment Analysis using Deep Learning: A Review。