Comparing Knowledge Sources for Open-Domain Scientific Claim Verification

随着科学知识的不断发现和健康声明在网上的分享速度增加，强调了开发高效的科学声明事实核查系统的重要性。文献中通常假设包含声明证据的文档已经提供并进行了注释，或包含在有限的语料库中，这使得这些系统在实际情况下不切实际，因为需要查询可能包含数百万文档的知识源以找到相关证据。在本文中，我们进行了一系列实验，以测试开放领域声明验证系统的性能。我们在四个不同设置的生物医学和健康声明数据集上测试系统的最终判断预测。在保持管道的证据选择和判断预测部分恒定的情况下，使用两种不同的信息检索技术在三个常见的知识源（PubMed、Wikipedia、Google）中进行文档检索。我们表明，PubMed在专业的生物医学声明中效果更好，而Wikipedia更适合于日常健康问题。同样，BM25在检索精度方面表现出色，而语义搜索在检索相关证据方面表现出色。我们讨论了结果，概述了常见的检索模式和挑战，并提供了有前途的未来方向。

本论文旨在开发高效的事实核查系统，以验证科学声明的准确性。与以往的研究不同，本文考虑了实际情况下可能需要查询数百万个文档以找到相关证据的情况。

本文提出了一个开放领域的声明验证系统，该系统可以从三个常见的知识来源（PubMed、Wikipedia、Google）中检索文档，并使用两种不同的信息检索技术。实验结果表明，PubMed对于专业的生物医学声明效果更好，而Wikipedia则更适用于日常健康问题。BM25在检索精度方面表现出色，而语义搜索则在检索相关证据的召回率方面表现出色。

本文的实验设计涵盖了四个不同数据集的生物医学和健康声明，评估了系统的最终判决预测。本文还讨论了实验结果，总结了常见的检索模式和挑战，并提供了未来研究的有希望的方向。

最近的相关研究包括：1.《谷歌自然语言问答系统：从语言到动作》；2.《基于知识图谱的声明验证：一个综述》；3.《基于BERT的医学声明验证》。