New Benchmark Dataset and Fine-Grained Cross-Modal Fusion Framework for Vietnamese Multimodal Aspect-Category Sentiment Analysis

社交媒体平台上的多模态数据的出现为更好地了解用户对某个方面的情感提供了新的机会。然而，现有的用于方面类别情感分析（ACSA）的多模态数据集通常侧重于文本注释，忽略了图像中的细粒度信息。因此，这些数据集未能充分利用多模态固有的丰富性。为了解决这个问题，我们介绍了一个名为ViMACSA的新的越南多模态数据集，它包含4,876个酒店领域的文本-图像对和14,618个文本和图像的细粒度注释。此外，我们提出了一种细粒度跨模态融合框架（FCMF），它有效地学习了模态内和模态间的相互作用，然后融合这些信息以产生统一的多模态表示。实验结果表明，我们的框架在ViMACSA数据集上表现优异，取得了79.73%的最高F1分数，超过了SOTA模型。我们还探讨了越南多模态情感分析的特点和挑战，包括拼写错误、缩写和越南语的复杂性。本研究既提供了一个基准数据集，又提供了一种利用细粒度多模态信息来改进多模态方面类别情感分析的新框架。我们的数据集可用于研究目的：https://github.com/hoangquy18/Multimodal-Aspect-Category-Sentiment-Analysis。

本论文旨在解决多模态数据在社交媒体平台上的情感分析问题，特别是针对图像方面的Fine-Grained信息不足的问题。

本论文提出了一种Fine-Grained Cross-Modal Fusion Framework（FCMF）来有效地学习模态内部和模态间的交互，并将这些信息融合成统一的多模态表示。

论文介绍了一个新的越南多模态数据集ViMACSA，包含4,876个文本-图像对，以及14,618个文本和图像的Fine-Grained注释。实验结果表明，FCMF框架在ViMACSA数据集上优于现有的SOTA模型，达到了最高的F1分数79.73%。此外，论文还探讨了越南多模态情感分析的特点和挑战，并提供了一个可供研究使用的数据集和一个新的框架，以利用Fine-Grained多模态信息来提高情感分析的性能。

最近的相关研究包括：1. Multimodal Sentiment Analysis: A Survey 2. Multimodal Sentiment Analysis using Deep Learning: Evolution, Challenges, and Opportunities 3. Multimodal Sentiment Analysis in the Wild: Overview, Challenges, and Datasets