NUMTEMP: A real-world benchmark to verify claims with statistical and temporal expressions

自动事实核查在数字时代应对不断增长的误传问题上引起了极大的关注。现有的系统主要关注维基百科上的合成性声明，同时也在真实世界的声明上取得了显著进展。在本研究中，我们发布了Numtemp，这是一个多领域、多样化的数据集，专注于数字声明，涵盖了时间、统计和多样化方面的细节元数据和证据收集，没有泄漏。这解决了验证真实世界数字声明的挑战，这些声明通常缺乏精确信息，这是现有研究主要关注合成性声明未涉及的领域。我们评估和量化了现有解决方案在验证数字声明方面的局限性。我们还评估了基于声明分解的方法、基于数字理解的模型以及我们的最佳基线，取得了58.32的宏F1值。这表明Numtemp作为数字声明验证的一个具有挑战性的评估集。

本论文旨在解决数字声明验证的问题，这是一个新的挑战，因为这些声明通常缺乏精确的信息和多样性。

论文提出了Numtemp数据集，这是一个多领域的数据集，专注于数字声明的验证，包括时间、统计和多样性方面的细粒度元数据和证据收集，该数据集可以用于评估数字声明验证的现有解决方案的局限性，并提出了一种基于声明分解和数字理解的模型。

论文评估了现有解决方案的局限性，提出了一种基于声明分解和数字理解的模型，并在Numtemp数据集上进行了评估。该数据集是一个多领域、多样性的数据集，具有挑战性。论文还提供了开源代码和数据集。

最近的相关研究包括："Fine-grained Fact-Checking for Abductive Text Summarization"和"FEVER: A Large-scale Dataset for Fact Extraction and VERification"。