Small Agent Can Also Rock! Empowering Small Language Models as Hallucination Detector

幻觉检测对于大型语言模型（LLMs）来说是一项具有挑战性的任务，现有的研究主要依赖于强大的闭源LLMs，如GPT-4。本文提出了一个自主的基于LLMs的代理框架，称为HaluAgent，它使相对较小的LLMs（如Baichuan2-Chat 7B）能够积极选择适合的工具来检测多种幻觉类型，如文本、代码和数学表达式。在HaluAgent中，我们集成了LLM、多功能工具箱，并设计了一个细粒度的三阶段检测框架以及记忆机制。为了促进HaluAgent的有效性，我们利用现有的中英文数据集来合成检测轨迹进行微调，使HaluAgent具备双语幻觉检测的能力。广泛的实验表明，仅使用2K样本来调整LLMs，HaluAgent可以在各种任务和数据集上执行幻觉检测，在领域内和领域外数据集上实现与GPT-4相当甚至更高的性能，而无需工具增强。我们在https://github.com/RUCAIBox/HaluAgent发布了我们的数据集和代码。

本论文旨在解决大语言模型在幻觉检测方面的挑战，提出了一个名为HaluAgent的自主语言模型代理框架，使较小的语言模型能够主动选择适合的工具来检测多种类型的幻觉。

HaluAgent框架将语言模型、多功能工具箱和设计精细的三阶段检测框架以及记忆机制进行了整合，利用现有的中英文数据集合成检测轨迹进行微调，使HaluAgent具备双语幻觉检测能力。

HaluAgent能够在各种任务和数据集上进行幻觉检测，仅使用2K个样本对语言模型进行微调即可达到与GPT-4相当甚至更高的性能，无需工具增强。研究人员在GitHub上公开了数据集和代码。

近期在这个领域的相关研究包括：《GPT-4: Generative Pre-training Transformer 4》。