GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework

评估大型语言模型（LLM）响应并检测与提供的知识不一致的方法，也称为幻觉，对于LLM应用程序变得越来越重要。当前的度量标准在提供可解释的决策、系统地检查响应中的所有信息方面存在不足，并且通常过于计算昂贵，无法在实践中使用。我们提出了GraphEval：一种基于将信息表示为知识图（KG）结构的幻觉评估框架。我们的方法确定了KG中容易出现幻觉的特定三元组，因此比先前的方法提供了更多关于幻觉是否发生以及在响应中发生的位置的见解。此外，将我们的方法与最先进的自然语言推理（NLI）模型结合使用，可提高各种幻觉基准测试的平衡准确性，而与使用原始NLI模型相比，平衡准确性更高。最后，我们探讨了使用GraphEval进行幻觉校正的方法，该方法利用了KG的结构，我们称之为GraphCorrect，并证明了大多数幻觉确实可以纠正。

解决大型语言模型中的幻觉问题，提出一种基于知识图谱的幻觉评估框架。

使用知识图谱结构来识别幻觉三元组，提高幻觉检测的可解释性和效率，并结合自然语言推理模型进行幻觉检测和纠正。

论文提出的GraphEval框架能够更加准确地检测幻觉问题，并结合自然语言推理模型进行幻觉检测和纠正，实验结果表明其具有较好的表现。

近期的相关研究包括使用自然语言推理模型进行幻觉检测，以及使用知识图谱来支持自然语言处理任务等。