Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs

推理包括两种典型类型：演绎推理和归纳推理。尽管对于大型语言模型（LLM）的推理能力进行了广泛的研究，但大多数研究未能严格区分归纳推理和演绎推理，导致两者混淆。这引发了一个重要问题：在LLM推理中，演绎推理和归纳推理哪个更具挑战性？虽然LLM的演绎推理能力（即它们在推理任务中遵循指令的能力）受到了广泛关注，但它们在真正的归纳推理方面的能力仍然未被充分探索。为了研究LLM的真正归纳推理能力，我们提出了一个新的框架——SolverLearner。这个框架使LLM能够通过只使用上下文示例来学习将输入数据点（x）映射到它们对应的输出值（y）的基本函数（即y = f_w(x)）。通过专注于归纳推理并将其与基于LLM的演绎推理分离，我们可以通过SolverLearner在其纯粹形式下隔离和研究LLM的归纳推理。我们的观察表明，LLM通过SolverLearner表现出了出色的归纳推理能力，在大多数情况下实现了近乎完美的性能，ACC为1。令人惊讶的是，尽管LLM具有很强的归纳推理能力，但它们在演绎推理能力方面相对缺乏，特别是在涉及“反事实”推理的任务中。

探究LLMs在演绎推理和归纳推理中的能力差异，提出了一种新的框架SolverLearner来研究LLMs的归纳推理能力。

通过SolverLearner框架，仅使用上下文示例，让LLMs学习将输入数据映射到其相应输出值的函数，从而研究LLMs的纯归纳推理能力。

通过实验发现，LLMs在纯归纳推理中表现出了出色的能力，但在涉及“反事实”推理的任务中相对缺乏演绎推理能力。论文提出的SolverLearner框架可用于研究LLMs的归纳推理能力，值得进一步深入研究。

最近的相关研究包括《GPT-3: Language Models are Few-Shot Learners》和《How Can We Know What Language Models Know?》等。