FacTool：生成式AI的事实性检测——多任务多领域场景工具增强框架

FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios

I-Chun Chern, Steffi Chern, Shiqi Chen, Weizhe Yuan, Kehua Feng, Chunting Zhou, Junxian He, Graham Neubig, Pengfei Liu
[CMU & Shanghai Jiao Tong University & City University of Hong Kong]

  • 动机：随着生成式预训练模型的出现，高质量文本的合成得到了发展，但同时也带来了检测生成文本中事实错误的挑战。

  • 方法：提出FACTOOL，一个任务/领域无关的框架，旨在检测大型语言模型（例如ChatGPT）生成的文本中的事实错误。FACTOOL利用各种工具收集关于生成内容的事实性的证据，并利用LLM的推理能力来评估内容的事实性。

  • 优势：FACTOOL在多种任务上的实验显示了所提方法的有效性，该框架易于扩展到更多场景。

提出一种新框架FACTOOL，能跨任务和领域检测大型语言模型生成的文本中的事实错误，以应对检测生成AI中的事实错误的挑战。

https://github.com/ GAIR-NLP/factool  

https://arxiv.org/abs/2307.13528
图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除