LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

大型语言模型（LLMs）经常产生错误，包括事实不准确、偏见和推理失败，统称为“幻觉”。最近的研究表明，LLMs的内部状态编码了有关其输出真实性的信息，而且这些信息可以用于检测错误。在这项工作中，我们展示了LLMs的内部表征编码了比以前认识到的更多关于真实性的信息。我们首先发现，真实性信息集中在特定的标记中，并利用这一属性显著提高了错误检测性能。然而，我们展示了这样的错误检测器无法在数据集之间进行泛化，这意味着与先前的说法相反，真实性编码不是普遍的，而是多方面的。接下来，我们展示了内部表征也可以用于预测模型可能出现的错误类型，从而促进定制缓解策略的开发。最后，我们揭示了LLMs内部编码和外部行为之间的差异：它们可能编码了正确的答案，但始终生成错误的答案。总之，这些见解从模型的内部视角深化了我们对LLM错误的理解，可以指导未来关于增强错误分析和缓解的研究。

本论文旨在探讨大型语言模型（LLMs）产生错误的原因，以及如何利用内部表示来检测和减轻这些错误。同时，论文试图验证之前研究中关于LLMs内部表示是否能够编码关于真实性的信息的假设。

论文发现LLMs内部表示中的真实性信息集中在特定的标记中，利用这一特性可以显著提高错误检测的性能。同时，论文还发现LLMs的内部表示可以用于预测模型可能出现的错误类型，并帮助开发相应的缓解策略。此外，论文还揭示了LLMs内部编码和外部行为之间的差异。

论文使用了多个数据集进行实验，并开源了相关代码。论文还发现LLMs内部表示不是普遍的，而是多方面的。此外，论文还提出了一些值得深入研究的问题，例如如何更好地利用LLMs的内部表示来减轻错误。

与本论文相关的研究包括： 1. "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" by Colin Raffel et al. 2. "Attention Is All You Need" by Ashish Vaswani et al. 3. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" by Jacob Devlin et al.