FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios

解决问题：该论文旨在解决生成模型中出现的事实错误检测问题。随着生成预训练模型的出现，生成文本的质量得到了提高，但也给事实错误的识别带来了挑战。具体来说：（1）越来越多的任务现在面临着由生成模型引起的事实错误的风险。（2）生成的文本往往长度较长，缺乏单个事实的明确定义的粒度。（3）在事实检查过程中缺乏明确的证据。这是否是一个新问题？是的。

关键思路：该论文提出了一个任务和领域无关的框架FacTool，用于检测大语言模型（例如ChatGPT）生成的文本中的事实错误。该框架使用了多任务和多领域的方法，结合了自动和人工的检查方法。相比于当前领域的研究，该论文的关键思路在于提供了一个通用的框架，可以适用于多种生成任务，并且结合了多种检查方法，从而提高了检测的准确性。

其他亮点：该论文在四个不同的任务（基于知识的QA、代码生成、数学推理和科学文献综述）上进行了实验，证明了该方法的有效性。值得关注的是，该方法使用了自动和人工的检查方法，从而提高了检测的准确性。此外，该论文还提供了一个开源的工具，可以帮助其他研究人员在自己的任务中使用该框架。该论文的工作可以为未来更准确的生成模型提供指导，并为自然语言处理领域中的事实检查问题提供解决方案。

关于作者：该论文的主要作者是I-Chun Chern, Steffi Chern, Shiqi Chen, Weizhe Yuan, Kehua Feng, Chunting Zhou, Junxian He, Graham Neubig, Pengfei Liu。他们来自于不同的机构，如CMU、HKUST、清华大学等。他们之前的代表作包括：《Adversarial Training Methods for Semi-Supervised Text Classification》、《Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Understanding》等。

相关研究：近期其他相关的研究还包括：《Fact-Checking in the Language Model Era》（作者：Xinya Du, Claire Cardie，机构：Cornell University）、《Factual Error Correction in Abstractive Text Summarization》（作者：Yixin Liu, Maosong Sun，机构：Tsinghua University）、《Factual Error Detection in Knowledge Graphs via Multi-Source Cross-Validation》（作者：Jingbo Zhou, Chengyu Wang，机构：University of Illinois at Urbana-Champaign）等。

论文摘要：本文介绍了一种名为FacTool的工具，它是一种任务和领域无关的框架，用于检测大型语言模型（例如ChatGPT）生成的文本中的事实错误。随着生成预训练模型的出现，高质量文本的合成变得更加容易，但也给识别生成文本中的事实错误带来了挑战。具体而言：（1）越来越多的任务现在面临着由生成模型处理时包含事实错误的风险。（2）生成的文本往往很长，并且缺乏单个事实的明确定义的粒度。（3）在事实检查过程中缺乏明确的证据。本文提出的FacTool框架可以有效地解决以上挑战，并在四个不同任务（基于知识的问答，代码生成，数学推理和科学文献审阅）上进行了实验证明其有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除