Multimodal Misinformation Detection using Large Vision-Language Models

越来越多的虚假信息以及其带来的惊人影响，促使工业界和学术界开发了虚假信息检测和事实核查的方法。最近，大型语言模型（LLMs）的进展在各种任务中表现出了显著的性能，但是LLMs是否以及如何帮助虚假信息检测仍然相对未被探索。大多数现有的最先进方法要么不考虑证据，仅关注声明相关特征，要么假设提供证据。少数方法将证据检索视为虚假信息检测的一部分，但依赖于微调模型。在本文中，我们研究了LLMs在零-shot情况下用于虚假信息检测的潜力。我们将证据检索组件纳入到过程中，因为从各种来源收集相关信息以检测声明的真实性至关重要。为此，我们提出了一种新颖的多模式证据检索重新排序方法，使用LLMs和大型视觉语言模型（LVLM）。检索到的证据样本（图像和文本）作为基于LVLM的多模式事实验证（LVLM4FV）方法的输入。为了进行公正的评估，我们通过注释更完整的证据样本集来解决现有证据检索数据集中证据样本不完整的问题，用于图像和文本检索。我们在两个数据集上的实验结果表明，所提出的方法在证据检索和事实验证任务中都具有优越性，并且与受监督的基线相比具有更好的跨数据集的泛化能力。

本文旨在探讨大语言模型（LLM）在零样本情况下对于虚假信息检测的潜力，提出了一种基于LLM和大视觉语言模型（LVLM）的多模态证据检索和事实验证方法，并解决了现有证据检索数据集中证据不完整的问题。

本文提出了一种新的证据检索和事实验证方法，将LLM和LVLM相结合，实现了在零样本情况下的虚假信息检测。

本文提出的方法在两个数据集上的实验结果表明，在证据检索和事实验证任务上都表现出了优越性，并且具有更好的跨数据集泛化能力。

近年来，虚假信息检测领域的研究越来越多，常见的方法包括基于特征的方法、基于证据的方法和基于深度学习的方法等。与本文相关的研究包括《BERT for Evidence Retrieval in Fact Checking》、《Multi-modal Fake News Detection》等。