Can We Catch the Elephant? The Evolvement of Hallucination Evaluation on Natural Language Generation: A Survey

自然语言生成（NLG）中的幻觉就像房间里的大象一样，明显却常常被忽视，直到最近取得显著进展，生成文本的流畅性和语法准确性得到了显著提高。对于大型语言模型（LLMs），幻觉可能会在各种下游任务和非正式对话中出现，需要准确的评估以提高可靠性和安全性。然而，目前关于幻觉评估的研究存在很大差异，人们仍然难以整理和选择最合适的评估方法。此外，随着自然语言处理研究逐渐转向LLMs领域，这个方向面临着新的挑战。本文全面调查了幻觉评估方法的演变，旨在解决三个关键方面：1）事实的不同定义和细粒度；2）自动评估器的类别及其适用性；3）未解决的问题和未来方向。

本文旨在综述幻觉评估方法的发展历程，旨在解决幻觉在大型语言模型中的问题，并提出未来的研究方向。

本文提出了幻觉评估的多种定义和细粒度事实分类，探讨了自动评估器的分类及其适用性，并讨论了未解决的问题和未来的研究方向。

本文提供了全面的幻觉评估方法综述，包括定义和分类、自动评估器的分类及其适用性等方面；对未来的研究方向进行了讨论。

在该领域的相关研究包括：《A Survey of Evaluation Metrics Used for NLG Systems》、《Evaluating Natural Language Generation in Chatbots》等。