OpenFactCheck: A Unified Framework for Factuality Evaluation of LLMs

随着大型语言模型（LLMs）在各种实际应用中的使用增加，需要机制来验证它们输出的事实准确性。难点在于评估开放域的自由形式回答的事实性。此外，不同的论文使用不同的评估基准和测量方法，这使它们难以比较并阻碍未来的进展。为了缓解这些问题，我们提出了OpenFactCheck，这是一个用于LLMs的统一事实性评估框架。OpenFactCheck包括三个模块：（i）CUSTCHECKER允许用户轻松定制自动事实检查器，并验证文件和声明的事实正确性，（ii）LLMEVAL是一个统一的评估框架，公平地评估LLM的事实能力，从不同的角度进行评估，（iii）CHECKEREVAL是一个可扩展的解决方案，用于通过人工注释的数据集衡量自动事实检查器的可靠性。OpenFactCheck已在https://github.com/yuxiaw/OpenFactCheck上公开发布。

如何验证大型语言模型（LLMs）输出的事实准确性？现有的评估方法存在哪些问题？

提出了一个统一的事实性评估框架OpenFactCheck，包括三个模块：CUSTCHECKER，LLMEVAL和CHECKEREVAL。CUSTCHECKER允许用户自定义自动事实检查器，LLMEVAL是一个统一的评估框架，CHECKEREVAL是一个可扩展的解决方案，用于评估自动事实检查器的可靠性。

OpenFactCheck是一个统一的事实性评估框架，解决了评估方法不一致的问题。该框架包括自定义自动事实检查器、统一评估框架和可扩展的解决方案。作者公开了代码，可以在GitHub上获取。

与本文相关的研究包括：基于知识图谱的事实检查、基于规则的事实检查和基于机器学习的事实检查。