LLMs Will Always Hallucinate, and We Need to Live With This

Sourav Banerjee ,
Ayushi Agarwal ,
Saloni Singla
2895
热度
2024年09月09日
  • 简介
    随着大型语言模型在各个领域中变得越来越普遍,批判性地检查它们固有的限制变得越来越重要。本文认为,语言模型中的幻觉不仅仅是偶然出现的错误,而是这些系统不可避免的特征。我们证明了幻觉源于LLM的基本数学和逻辑结构。因此,通过架构改进、数据集增强或事实核查机制无法消除它们。我们的分析基于计算理论和哥德尔的第一不完备定理,该定理涉及类似于停机、空性和接受问题的问题的不可判定性。我们证明了LLM过程的每个阶段——从训练数据编译到事实检索、意图分类和文本生成——都有产生幻觉的非零概率。本文引入了结构幻觉的概念,作为这些系统的固有特性。通过确定幻觉的数学确定性,我们挑战了普遍存在的观念,即它们可以完全被减轻。
  • 图表
  • 解决问题
    论文探讨了大型语言模型中产生幻觉的固有局限性。作者认为幻觉不仅是偶然错误,而是这些系统的不可避免特征。
  • 关键思路
    作者通过计算理论和哥德尔第一不完备定理的引用,证明了幻觉源于LLMs的基本数学和逻辑结构,因此无法通过架构改进、数据集增强或事实检查机制来消除它们。论文提出了结构幻觉的概念作为这些系统固有的本质特征。
  • 其它亮点
    论文介绍了LLMs产生幻觉的每个阶段都有产生幻觉的非零概率,包括训练数据编译、事实检索、意图分类和文本生成。作者还探讨了如何评估和测量幻觉的数量和严重程度,并提出了一些可能的解决方案。
  • 相关研究
    最近的相关研究包括《GPT-3:一种自然语言处理的最新技术》、《大型语言模型的伦理和社会影响》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论