Multi-source Knowledge Enhanced Graph Attention Networks for Multimodal Fact Verification

多模态事实验证是一个新兴领域，近年来受到越来越多的关注。其目标是通过分析检索到的证据来评估涉及多种模态的声明的真实性。这个领域的主要挑战是有效地融合来自不同模态的特征，以学习有意义的多模态表示。为此，我们提出了一种名为Multi-Source Knowledge-enhanced Graph Attention Network (MultiKE-GAT)的新模型。MultiKE-GAT引入来自不同来源的外部多模态知识，并构建一个异构图来捕捉复杂的跨模态和跨来源的交互。我们利用一个知识感知图融合(KGF)模块来学习每个声明和证据的知识增强表示，并消除冗余实体引入的不一致性和噪声。在两个公共基准数据集上的实验证明，我们的模型优于其他比较方法，显示了所提出的模型的有效性和优越性。

本文旨在解决多模态事实验证这一新兴领域中的问题，即通过分析检索到的证据来评估涉及多个模态的声明的真实性。

本文提出了一种名为MultiKE-GAT的新模型，该模型引入了来自不同来源的外部多模态知识，并构建了一个异构图来捕捉复杂的跨模态和跨来源的交互。我们利用一个知识感知的图融合（KGF）模块来学习每个声明和证据的知识增强表示，并消除冗余实体引入的不一致性和噪声。

本文的实验结果表明，MultiKE-GAT模型优于其他比较方法，展示了所提出模型的有效性和优越性。本文使用了两个公共基准数据集进行实验，并探讨了多模态事实验证领域的一些关键挑战和未来研究方向。

与本文相关的研究包括：1. Multi-modal Graph Convolutional Networks for Fake News Detection；2. Multi-modal Fake News Detection using Graph Convolutional Networks；3. Multi-modal Claim Verification using Graph Convolutional Networks。