Navigating the Noisy Crowd: Finding Key Information for Claim Verification

认证主张是一项任务，它涉及根据多个证据片段评估给定主张的真实性。使用大型语言模型（LLMs）进行认证是一种有前途的方式。然而，仅仅将所有证据片段提供给LLM并询问主张是否属实并不能产生良好的结果。挑战在于证据和主张的嘈杂性：证据段落通常包含无关信息，关键事实隐藏在上下文中，而主张通常同时传达多个方面。为了应对这个"嘈杂的群众"信息，我们提出了EACon（证据抽象和主张分解）框架，旨在找到证据中的关键信息并分别验证主张的每个方面。EACon首先从主张中找到关键词，并采用模糊匹配来选择每个原始证据片段的相关关键词。这些关键词作为指导，将关键信息提取和总结成抽象证据。随后，EACon将原始主张分解为子主张，然后分别针对抽象和原始证据验证每个子主张。我们在两个具有挑战性的数据集上使用两个开源LLM评估EACon。结果表明，EACon在认证主张方面持续且显著地提高了LLMs的性能。

本论文旨在解决声明验证中存在的信息噪音问题，提出了EACon框架来抽象证据和分解声明以进行分别验证。

EACon框架通过关键词匹配，提取关键信息，进行抽象证据；然后将声明分解为子声明，并对每个子声明进行验证。这种方法相比于传统的将所有证据都输入到LLM中进行判断的方法，能够更好地处理信息噪音问题。

论文使用两个开源LLM模型在两个具有挑战性的数据集上进行了实验，结果表明EACon框架能够显著提高LLM模型在声明验证中的性能。值得关注的是，EACon框架不仅提高了模型的准确性，而且还能够提供对证据和声明的解释。论文还提供了开源代码和数据集。

在声明验证领域，最近的相关研究包括BERT-based方法、基于知识图谱的方法等。