Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models -- A Survey

大型语言模型（LLM）最近在涉及推理的任务上表现出令人印象深刻的性能，引发了关于这些模型是否具有类似于人类的推理能力的热烈讨论。然而，尽管取得了这些成功，LLM的推理能力深度仍然不确定。这种不确定性部分源于对任务性能的主要关注，通过浅层准确度指标来衡量，而不是对模型推理行为进行彻底调查。本文旨在通过提供超越任务准确度的研究综述，提供对模型推理过程更深入的洞察。此外，我们调查了评估LLM推理行为的普遍方法，强调了当前趋势和努力，以进行更细致的推理分析。我们的综述表明，LLM倾向于依赖其训练数据中的表层模式和相关性，而不是真正的推理能力。此外，我们确定了需要进一步研究人类和基于LLM的推理之间的关键差异。通过这项调查，我们旨在揭示LLM内部复杂的推理过程。

对大型语言模型的推理能力进行深入研究

本文通过综述已有的研究，探讨大型语言模型的推理过程，并提出更加复杂的评估方法

本文发现大型语言模型更多地依赖于表面层次的模式和相关性，而非真正的推理能力；同时指出需要进一步研究人类和大型语言模型推理之间的差异。

最近的相关研究包括《GPT-3的语言理解能力：一个评估》、《大型语言模型的现实风险》等。