PTA: Enhancing Multimodal Sentiment Analysis through Pipelined Prediction and Translation-based Alignment

多模态方面的情感分析（MABSA）旨在以细粒度的方式理解观点，推进人机交互和其他领域的发展。传统的MABSA方法使用联合预测方法同时识别方面和情感。然而，我们认为联合模型并不总是更优越的。我们的分析表明，联合模型难以将相关的文本标记与图像补丁对齐，导致对齐不准确和图像利用效果不佳。 相比之下，管道框架首先通过多模态方面术语提取（MATE）识别方面，然后将这些方面与图像补丁对齐以进行情感分类（MASC：多模态方面导向情感分类）。这种方法更适合多模态情况，其中有效利用图像至关重要。我们提出了三个关键观察结果：（a）MATE和MASC具有不同的特征要求，MATE侧重于标记级特征，而MASC侧重于序列级特征；（b）MATE识别的方面对于有效利用图像至关重要；（c）由于高噪声，图像在以前的MABSA方法中发挥了微不足道的作用。 基于这些观察结果，我们提出了一个管道框架，首先预测方面，然后使用基于翻译的对齐（TBA）增强多模态语义一致性，以实现更好的图像利用。我们的方法在广泛使用的MABSA数据集Twitter-15和Twitter-17上实现了最先进的性能（SOTA）。这证明了管道方法的有效性及其为未来MABSA研究提供有价值的见解的潜力。 为了可重复性，代码和检查点将被发布。

论文旨在解决多模态方面级情感分析中的图像利用问题，提出了一种基于管道框架的解决方案。

该论文提出了一种基于管道框架的解决方案，首先通过MATE（多模态方面术语提取）识别方面，然后将这些方面与图像补丁对齐进行情感分类（MASC：多模态面向方面的情感分类），以实现更好的图像利用。

论文提出的解决方案在Twitter-15和Twitter-17等广泛使用的数据集上取得了最先进的性能，并通过发布代码和检查点以实现可重复性。该论文还指出了联合模型在多模态情况下的局限性以及图像在以前的MABSA方法中的作用不足。

最近的相关研究包括《Multimodal Sentiment Analysis: A Survey》、《Aspect-Based Sentiment Analysis with Deep Learning》等。