SIFiD: Reassess Summary Factual Inconsistency Detection with LLM

在摘要任务中，确保摘要与原始文档之间的事实一致性至关重要。因此，人们已经投入了相当大的努力来检测不一致性。随着大型语言模型（LLMs）的出现，最近的研究已经开始利用它们先进的语言理解能力来检测不一致性。然而，早期的尝试表明，由于LLMs的能力有限和缺乏有效的检测方法，它们的表现不如传统模型。在本研究中，我们重新评估了LLMs对摘要不一致性检测的能力，比较了GPT-3.5和GPT-4的性能。为了推进基于LLM的不一致性检测研究，我们提出了SIFiD（使用过滤文档进行摘要不一致性检测），通过自然语言推理或测量摘要和文档之间的语义相似性来识别文档中的关键句子。

本论文旨在重新评估使用大型语言模型（LLMs）进行摘要不一致性检测的效果，并提出一种新的检测方法SIFiD。

通过比较GPT-3.5和GPT-4的表现，本论文提出了一种新的摘要不一致性检测方法SIFiD，该方法通过自然语言推理或测量摘要和原始文档之间的语义相似度来识别文档中的关键句子。

本论文使用大型语言模型（LLMs）进行摘要不一致性检测，并提出了一种新的检测方法SIFiD。实验结果表明，SIFiD在不同数据集上的表现都优于传统模型。此外，本论文还探讨了LLMs在摘要不一致性检测方面的局限性，并提出了一些未来的研究方向。论文还提供了开源代码和数据集。

最近的相关研究包括：1.《A Survey of Textual Similarity Measures》；2.《Deep Learning for Text Similarity》；3.《A Review on Text Similarity and Text Summarization Techniques》等。