Retrieval Augmented Verification: Unveiling Disinformation with Structured Representations for Zero-Shot Real-Time Evidence-guided Fact-Checking of Multi-modal Social media posts

社交媒体帖子是虚假信息的主要来源之一，其中真实图像被不择手段地重复使用并与挑衅性文本一起用于推广特定观点。由于这些声明没有编辑监督，因此广大人群可以访问，否则可能无法访问多个信息来源。这意味着需要事实核查这些帖子，并清楚地解释帖子的哪些部分是虚假的。在监督学习设置中，这通常被简化为二元分类问题，忽略了所有中间阶段。此外，这些声明通常涉及最近的事件，历史数据训练的系统容易失败。在这项工作中，我们提出了一种零-shot方法，通过检索多个新闻网站的实时网络抓取证据，并使用预训练的语言视觉系统将它们与声明文本和图像匹配。我们提出了一个图形结构表示，它a）允许我们自动收集证据，b）通过明确指出哪些部分无法验证来帮助生成可解释的结果。我们的零-shot方法具有改进的可解释性，与最先进的方法产生了竞争力的结果。

论文旨在解决社交媒体上虚假信息的问题，特别是在实时情况下，使用零样本学习的方法来检测虚假信息。

论文提出了一种使用预训练的语言视觉系统来匹配声明文本和图像的实时网页抓取证据的零样本方法，并使用图形结构表示来自动收集证据并生成可解释的结果。

论文使用了预训练的语言视觉系统来匹配声明文本和图像，并使用图形结构表示来自动收集证据并生成可解释的结果。实验结果表明，该方法在实时情况下具有竞争力，可以检测虚假信息。论文没有提供开源代码，但使用了公开可用的数据集。

最近的相关研究包括使用深度学习进行虚假信息检测，但这些方法通常需要大量的标记数据。还有一些使用图形表示来检测虚假信息的方法，但这些方法没有考虑实时情况。相关论文包括：“A Survey of Deep Learning for Fake News Detection”和“Graph-based Fake News Detection using Convolutional Neural Network”。