Credible, Unreliable or Leaked?: Evidence Verification for Enhanced Automated Fact-checking

自动事实核查（AFC）正受到越来越多研究人员的关注，他们旨在帮助事实核查人员应对网络上不断扩散的虚假信息。虽然许多现有的AFC方法利用来自网络的外部信息来帮助检查声明的真实性，但它们经常忽视验证收集的“证据”的来源和质量的重要性。一个被忽视的挑战涉及依赖于“泄露证据”，即直接从事实核查网站收集并用于训练AFC系统的信息，导致早期虚假信息检测的不切实际的情境。同样，包括来自不可靠来源的信息可能会削弱AFC系统的效果。为了应对这些挑战，我们提出了一种全面的证据验证和过滤方法。我们创建了“CREDible，Unreliable or LEaked”（CREDULE）数据集，其中包括91,632篇文章，分为可信、不可信和事实核查（泄露）三类。此外，我们引入了基于CREDULE训练的证据验证网络（EVVER-Net），用于检测短文本和长文本中的泄露和不可靠证据。EVVER-Net可用于过滤从网络收集的证据，从而增强端到端AFC系统的鲁棒性。我们尝试使用各种语言模型，并展示了EVVER-Net可以在短文本和长文本中分别利用领域可信度得分展现出高达91.5％和94.4％的令人印象深刻的性能。最后，我们评估了广泛使用的事实核查数据集提供的证据，包括LIAR-PLUS、MOCHEG、FACTIFY、NewsCLIPpings+和VERITE，其中一些数据集展示出令人担忧的泄露和不可靠证据比例。

本文旨在解决自动事实检查中的证据来源和质量验证问题，提出了一个综合方法来验证和过滤证据，以增强全面的自动事实检查系统的鲁棒性。

本文提出了一个名为CREDULE的数据集和一个名为EVVER-Net的模型，用于检测短文本和长文本中的泄漏和不可靠证据，以过滤来自网络的证据，提高自动事实检查系统的鲁棒性。

本文提出的方法可以有效地验证和过滤证据，以增强全面的自动事实检查系统的鲁棒性。作者还评估了常用的事实检查数据集的证据质量，并展示了EVVER-Net在不同语言模型下的出色性能。数据集和代码已开源。

最近的相关研究包括：《基于知识图谱的自动事实检查》、《使用深度学习进行自动事实检查：现状与挑战》、《面向社交媒体的自动事实检查方法》等。