Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments

快速传播的错误信息对公共利益构成了重大风险。为了打击错误信息，大型语言模型（LLMs）被改编为自动验证声明的可信度。然而，现有方法严重依赖于LLMs内嵌的知识和/或黑盒API进行证据收集，导致在较小的LLMs或不可靠的上下文中表现不佳。在本文中，我们提出了检索增强事实验证（RAFTS），通过综合对立观点来进行验证。在输入声明后，RAFTS从证据检索开始，我们设计了一个检索管道，从可验证的来源收集和重新排名相关文档。然后，RAFTS根据检索到的证据形成对比论点（即支持或反驳）。此外，RAFTS利用嵌入模型识别信息演示，并进行上下文提示以生成预测和解释。我们的方法有效地检索相关文档作为证据，并从不同的角度评估论点，融入微妙的信息进行细粒度的决策。结合信息丰富的上下文示例作为先验，RAFTS在不需要复杂提示的情况下显著改进了监督和LLM基线。我们通过大量实验证明了我们方法的有效性，其中RAFTS可以在更小的7B LLM下胜过基于GPT的方法。

论文旨在解决如何自动验证声明的可信度的问题，特别是在小型LLMs或不可靠的上下文中的表现问题。

RAFTS通过检索相关证据并形成支持或反驳的对比论点来验证声明的可信度。此外，RAFTS利用嵌入模型来识别信息演示，并进行上下文提示以生成预测和解释。

RAFTS通过检索相关证据进行验证，从不同角度评估论点，结合细微的信息进行决策。在不需要复杂提示的情况下，与监督和LLM基线相比，RAFTS取得了显着的改进。实验表明，RAFTS可以在较小的7B LLM中胜过基于GPT的方法。

相关研究包括利用LLMs进行事实验证的方法，以及利用检索技术进行证据检索的方法。