Multimodal Large Language Models to Support Real-World Fact-Checking

多模态大型语言模型（MLLMs）具有支持人类处理大量信息的潜力。虽然MLLMs已经被用作事实核查工具，但它们在这方面的能力和局限性尚未得到充分研究。我们的目标是弥补这一差距。特别是，我们提出了一个框架，系统地评估当前多模态模型促进现实世界事实核查的能力。我们的方法是无需证据的，仅利用这些模型的内在知识和推理能力。通过设计提示来提取模型的预测、解释和置信水平，我们深入研究有关模型准确性、鲁棒性和失败原因的研究问题。我们实证发现，（1）GPT-4V在识别恶意和误导性多模态声明方面表现出优越的性能，能够解释不合理的方面和潜在动机，（2）现有的开源模型存在强烈的偏见，并且对提示非常敏感。我们的研究为打击虚假的多模态信息和构建安全、可信赖的多模态模型提供了洞见。据我们所知，我们是第一个评估MLLMs用于现实世界事实核查的研究。

评估多模态大语言模型在实际事实检查中的能力和局限性

提出了一个系统评估当前多模态模型在实际事实检查中能力的框架，使用模型内在的知识和推理能力，设计提取预测、解释和置信度的提示，探讨模型准确性、鲁棒性和失败原因等问题。

GPT-4V在识别恶意和误导性多模态信息方面表现出优异的性能，能够解释不合理的方面和潜在动机。现有的开源模型存在强烈的偏见，并且对提示非常敏感。该研究为打击虚假多模态信息和构建安全、可信的多模态模型提供了见解。实验使用了开源数据集，没有提供代码。

最近的相关研究包括：Fact-Checking with Natural Language Inference, Multi-Modal Fake News Detection, Multimodal Misinformation Detection,等。