Lynx: An Open Source Hallucination Evaluation Model

检索增强生成（RAG）技术旨在减轻大型语言模型（LLM）的幻觉。然而，LLM仍然可能产生与检索上下文不支持或矛盾的信息。我们介绍了LYNX，这是一种最先进的幻觉检测LLM，能够在具有挑战性的现实幻觉场景中进行高级推理。为了评估LYNX，我们提出了HaluBench，这是一个包含来自各种现实领域的15k个样本的综合幻觉评估基准。我们的实验结果表明，LYNX在HaluBench上表现优于GPT-4o、Claude-3-Sonnet以及闭源和开源的LLM作为评判模型。我们发布了LYNX、HaluBench和我们的评估代码，供公众使用。

解决问题（Problem）：该论文旨在介绍一种新的大型语言模型（LLM）幻觉检测方法，LYNX，以解决LLMs产生不受支持或矛盾信息的问题。作者还提出了一个全面的幻觉评估基准Halubench。

关键思路（KeyIdea）：LYNX是一种SOTA幻觉检测LLM，能够在具有挑战性的真实幻觉场景中进行先进的推理。该方法利用RAG技术减轻LLMs产生幻觉的问题。

其他亮点（Highlights）：Halubench是一个包含15k个样本的全面的幻觉评估基准，来源于各种真实世界的领域。实验结果表明，LYNX在Halubench上的表现优于GPT-4o、Claude-3-Sonnet以及闭源和开源LLM作为评测模型。作者公开了LYNX、Halubench和评估代码以供公众访问。

相关研究（RelatedWork）：最近的相关研究包括使用不同的技术和模型来解决LLMs产生幻觉的问题，如GAN、BERT、GPT等。相关论文包括：“Generating Diverse and Consistent QA pairs using GANs”、“BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model”、“GPT Understands, Too”等。