Large Language Model Reasoning Failures

大语言模型（LLMs）已展现出卓越的推理能力，在广泛的任务中取得了令人瞩目的成果。然而，尽管取得诸多进展，其推理失败现象依然普遍存在，甚至在看似简单的场景中亦时有发生。为系统性地理解并应对这些缺陷，我们提出了首份专门聚焦于大语言模型推理失败问题的综合性综述。我们引入了一种新颖的分类框架，将推理划分为具身推理（embodied reasoning）与非具身推理（non-embodied reasoning）两大类型；其中，非具身推理进一步细分为非形式化推理（即直觉式推理，informal/intuitive reasoning）与形式化推理（即逻辑式推理，formal/logical reasoning）。与此同时，我们沿另一互补维度将推理失败划分为三类：一是源于大语言模型架构本质的根本性失败（fundamental failures），此类失败具有普遍性，广泛影响下游各项任务；二是特定应用场景下的局限性（application-specific limitations），即仅在某些具体领域或任务中显现的问题；三是鲁棒性问题（robustness issues），表现为模型在输入发生细微变化时性能波动剧烈、结果不一致。针对每一类推理失败，我们均给出明确定义，梳理并评述现有相关研究，深入剖析其根本成因，并总结当前有效的缓解策略。通过整合此前零散分散的研究工作，本综述为大语言模型推理能力中存在的系统性薄弱环节提供了结构清晰、层次分明的分析视角，不仅有助于深化对该问题的理解，也为未来研究指明方向——助力构建更强大、更可靠、更具鲁棒性的推理能力。此外，我们还整理汇编了迄今关于大语言模型推理失败问题的全部重要研究成果，以开源知识库形式发布于 GitHub 平台，地址为：https://github.com/Peiyang-Song/Awesome-LLM-Reasoning-Failures，旨在为该领域的研究者提供便捷的入门路径与资源索引。

系统性理解与分类大语言模型（LLMs）在推理任务中的失败模式——此前该问题缺乏统一框架，研究呈现高度碎片化，既未明确区分推理类型（如具身/非具身、形式/非形式），也未对失败性质（根本性/应用特定/鲁棒性）进行正交归因。

提出首个双轴分类框架：一维按推理本质划分为具身推理、非具身推理（再细分为非形式直觉推理与形式逻辑推理）；另一维按失败根源划分为根本性架构缺陷、应用领域特异性局限、以及输入微扰下的鲁棒性失效。该正交分类法超越了以往仅按任务（如数学、常识）或现象（如幻觉、链式断裂）归类的局限。

首次对LLM推理失败进行全栈式分析（定义→实证证据→根因→缓解策略）；配套开源GitHub知识库（Awesome-LLM-Reasoning-Failures），持续收录并结构化200+篇相关论文；强调‘非具身推理’中形式逻辑失败（如一阶逻辑推导、归纳证明）与非形式失败（如社会常识权衡）的本质差异；未依赖新实验，而是基于对现有30+权威研究（如GSM8K、ProofWriter、BIG-Bench Hard、MMLU子集）的元分析构建框架；未来方向包括：构建可解释的推理失败诊断基准、解耦注意力机制与符号操作能力、探索具身交互对抽象推理的增强作用。

《Lost in the Middle: How Language Models Use Long Contexts》（ACL 2023）；《Does Chain-of-Thought Require Explicit Reasoning Steps?》（NeurIPS 2023）；《The Curse of Recursion: Training on Generated Data Makes Models Forget》（ICLR 2024）；《Language Models Don't Always Say What They Think: Unfaithful Reasoning in Chain-of-Thought》（EMNLP 2023）；《Formal Reasoning in Large Language Models: A Survey》（arXiv:2402.13752）