MDF: A Dynamic Fusion Model for Multi-modal Fake News Detection

近年来，虚假新闻检测备受研究人员关注，尤其是包含文本和图像的多模式虚假新闻检测。然而，许多先前的研究将文本和图像两种模态特征简单地进行连接或关注机制后馈入二分类器，其中的特征包含数据中固有的大量噪声，从而导致了模态内和模态间的不确定性。此外，虽然许多基于简单拼接两种模态的方法取得了更为突出的结果，但这些方法忽略了跨模态保持固定权重的缺点，这会导致某些具有更高影响因素的特征被忽略。为了缓解以上问题，我们提出了一种新的动态融合框架MDF用于虚假新闻检测。据我们所知，这是虚假新闻检测领域中第一次尝试动态融合框架。具体而言，我们的模型由两个主要组成部分组成：(1) UEM作为不确定性建模模块，采用多头注意机制来建模模态内的不确定性；(2) DFN是一种基于D-S证据理论的动态融合模块，用于动态融合文本和图像两种模态的权重。为了呈现动态融合框架的更好结果，我们在DFN之前使用GAT进行模态间不确定性和权重建模。在两个基准数据集上的广泛实验表明，MDF框架具有有效性和优越性能。我们还进行了系统的消融研究，以深入了解我们的动机和架构设计。我们将我们的模型公开在https://github.com/CoisiniStar/MDF上。

本文旨在解决多模态假新闻检测中存在的噪声和不确定性问题，提出了一种新的动态融合框架MDF。

文章提出了一种动态融合框架MDF，包括UEM和DFN两个组件，使用多头注意力机制处理内部不确定性，使用D-S证据理论动态融合文本和图像的权重。

实验结果表明，MDF框架在两个基准数据集上均取得了优异的性能，作者还进行了系统的消融实验以验证框架的有效性和设计。作者已经将模型代码公开在GitHub上。

近年来，多模态假新闻检测引起了研究人员的广泛关注。之前的一些研究忽略了固定权重的缺陷，而MDF框架则提出了一种动态融合的解决方案。相关研究包括：“Multi-modal Fake News Detection Using Stacked Attention Network”和“Fake News Detection Using Multi-modal Deep Learning”。