A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners

本研究提出了一个假设测试框架，以评估大型语言模型（LLMs）是否具有真正的推理能力或主要依赖于令牌偏差。我们超越了对LLMs准确性的评估；相反，我们旨在调查它们在解决逻辑推理任务时的令牌偏差。具体而言，我们开发了精心控制的合成数据集，其中包括“合取谬误”和“三段论”问题。我们的框架概述了一系列假设，其中令牌偏差很容易被识别，所有零假设都假定LLMs具有真正的推理能力。本研究的发现表明，有统计保证，大多数LLMs仍然在逻辑推理方面存在困难。虽然它们在经典问题上表现良好，但它们的成功很大程度上取决于识别具有强烈令牌偏差的表面模式，从而引发对它们实际推理和泛化能力的担忧。

论文旨在通过提出一种假设测试框架来验证大型语言模型是否具有真正的推理能力，或者它们是否主要依赖于令牌偏差。这是否是一个新问题？

论文开发了一系列仔细控制的合成数据集，并提出了一系列假设，用于识别令牌偏差，以评估LLMs在解决逻辑推理任务时的表现。研究表明，大多数LLMs仍然在逻辑推理方面存在困难，这引发了对它们实际推理和泛化能力的担忧。

论文的实验设计精细，使用了合成数据集来评估LLMs的推理能力。研究发现，大多数LLMs在逻辑推理方面存在困难，这引发了对它们实际推理和泛化能力的担忧。论文提供了一种新的假设测试框架，可用于评估LLMs的表现。

最近的相关研究包括《GPT-3 Is Not a Mindreader: Taking a Closer Look at Few-shot Learning》和《On the (Non-)Utility of Structural Knowledge for Transfer Learning in NLP》。