ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models

大型语言模型（LLMs）在各个领域和广泛应用的长篇问答任务中表现出幻觉。目前的幻觉检测和缓解数据集在领域和规模上都存在限制，由于劳动力成本高昂和现有幻觉注释者的可靠性不足，难以扩展。为了促进LLM幻觉的可扩展监管，本文介绍了一个迭代自训练框架，同时逐步扩展幻觉注释数据集并提高幻觉注释器的准确性。基于期望最大化（EM）算法，在每次迭代中，该框架首先应用幻觉注释管道对一个扩展数据集进行注释，然后在该数据集上训练一个更准确的幻觉注释器。这个新的幻觉注释器被采用在下一次迭代使用的幻觉注释管道中。广泛的实验结果表明，最终获得的只有7B参数的幻觉注释器超越了GPT-4的性能，并在HaluEval和HalluQA上获得了新的幻觉检测结果的最新状态，通过零-shot推理。这样的注释器不仅可以评估各种LLMs在大规模数据集上的幻觉水平，还可以帮助缓解LLMs生成的幻觉，使自然语言推理（NLI）度量从HaluEval的25%提高到37%。

解决LLMs在长篇问答任务中出现幻觉的问题，并提出一种可扩展的自我训练框架来改善幻觉注释器的准确性和规模。

该框架通过基于期望最大化算法的迭代自我训练，同时扩展幻觉注释数据集和提高幻觉注释器的准确性。最终得到的幻觉注释器性能超过了GPT-4，并在HaluEval和HalluQA上实现了新的最先进的幻觉检测结果。

该论文提出了一种可扩展的自我训练框架，用于评估LLMs的幻觉水平和减少LLMs生成的幻觉。实验结果表明，该框架得到的幻觉注释器性能优于GPT-4，并在HaluEval和HalluQA上实现了新的最先进的幻觉检测结果。该论文还提供了数据集和代码以促进未来的研究。

最近的相关研究包括《Detecting Hallucinations in Conversational AI: A Deep Learning Approach》、《Hallucination Detection and Mitigation for Conversational Agents》等。