Retrieval Augmented Verification : Unveiling Disinformation with Structured Representations for Zero-Shot Real-Time Evidence-guided Fact-Checking of Multi-modal Social media posts

社交媒体帖子是不择手段地重新使用真实图像和挑衅性文本来宣传特定观点的主要虚假信息来源之一。由于这些声明是经过设计的，没有编辑监督，并且可供许多人访问，否则可能无法获得多种信息来源。这意味着需要事实核查这些帖子，并清楚地解释帖子中哪些部分是虚假的。在监督学习设置中，这通常被简化为二元分类问题，忽略了所有中间阶段。此外，这些声明通常涉及最近的事件，历史数据训练的系统容易失败。在这项工作中，我们提出了一种零样本方法，通过检索多个新闻网站的实时网络抓取证据，并使用预训练的语言视觉系统将其与声明文本和图像进行匹配。我们提出了一种图形结构表示，它a）允许我们自动收集证据，并b）通过明确指出哪些部分的声明无法验证来帮助生成可解释的结果。我们的零样本方法具有改进的可解释性，在竞争激烈的结果中表现出色。

论文旨在解决社交媒体上存在的虚假信息问题，特别是针对图片和文字的搭配，提出了一种零样本学习的方法。

论文提出了一种基于图形结构的零样本学习方法，通过预先训练的语言视觉系统检索实时网络抓取的证据，将其与声明文本和图像进行匹配，以验证声明的真实性，并生成可解释的结果。

论文的方法通过图形结构表示，自动收集证据，并明确指出声明中无法验证的部分，提高了解释性。实验结果表明，该方法在竞争中表现出色，同时提供了开源代码。

最近的相关研究包括：Fact-Checking with Graph Convolutional Networks；A Survey on Visual Question Answering: Datasets and Techniques；Zero-shot Learning - A Comprehensive Evaluation of the Good, the Bad and the Ugly。