Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models

本文中，我们从计算复杂性的角度探讨了大语言模型（LLMs）及其基于LLM的智能体中存在的幻觉现象及相关能力局限。我们指出，当任务复杂度超过某一阈值时，LLMs将无法执行计算或智能体任务，也无法验证其结果的正确性。

论文试图探讨大语言模型（LLMs）及其代理在面对高计算复杂度任务时的能力限制，特别是关注它们在执行复杂计算任务和验证结果准确性方面的表现。这一问题从计算复杂性的角度切入，分析LLM的局限性，属于较新的研究方向。

论文的核心思路是将LLM的能力限制与计算复杂性理论联系起来，指出当任务复杂度超过一定阈值时，LLM无法有效完成任务或验证其正确性。这种从理论计算机科学出发的视角为理解LLM的局限性提供了新的框架。

1. 提出了一个基于计算复杂性理论的分析框架，用于评估LLM的能力边界 2. 通过构造特定类型的复杂任务来测试LLM的表现 3. 实验设计包括多项推理与验证任务，揭示了LLM在高复杂度场景下的失效点 4. 强调了LLM在缺乏外部验证机制时的不可靠性

1. “On the Computational Complexity of Training and Serving Large Language Models” 2. “Limits of Reasoning with Neural Language Models” 3. “Understanding the Limits of Large Language Model Reasoning via Synthetic Tasks” 4. “Theoretical Analysis of Prompt Injection Vulnerabilities in LLM-based Agents”