Reliable Reasoning Beyond Natural Language

尽管大型语言模型（LLMs）具有语言能力，但它们在可靠和灵活推理方面常常存在局限性。为了解决这个问题，我们提出了一种神经符号化方法，促使LLMs从问题陈述中提取和编码所有相关信息作为逻辑代码陈述，然后使用逻辑编程语言（Prolog）进行显式演绎推理的迭代计算。我们的方法显著提高了LLMs在标准数学推理基准GSM8k和来自BIG-bench数据集的Navigate数据集上的性能。此外，我们还介绍了一个新的数据集，即非线性推理（NLR）数据集，包含55个独特的单词问题，针对LLMs的下一个标记预测范例的缺点，需要复杂的非线性推理，但只需要基本算术技能即可解决。我们的研究结果表明，Prolog的集成使LLMs能够在NLR数据集上实现高性能，而即使是最先进的语言模型（包括GPT4）也无法仅使用文本解决该问题。

论文旨在解决LLMs在推理方面的局限性，并提出了一种神经符号学方法来提高LLMs的性能。

该方法要求LLMs从问题陈述中提取和编码所有相关信息，并使用逻辑编程语言（Prolog）进行显式演绎推理的迭代计算。

该方法显著提高了LLMs在标准数学推理基准测试（GSM8k）和BIG-bench数据集中Navigate数据集上的性能。此外，论文还引入了一个新的数据集NLR，该数据集包含55个独特的单词问题，针对LLMs的下一个令牌预测范例的局限性，并需要复杂的非线性推理，但只需要基本的算术技能来解决。研究结果表明，Prolog的集成使得LLMs能够在NLR数据集上取得高性能，即使是最先进的语言模型（包括GPT4）也无法仅使用文本解决该问题。

最近在这个领域中，也有其他研究探索神经符号学方法来提高LLMs的推理能力，例如《Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding》和《Neuro-Symbolic Concept Learner for Interpretable Visual Question Answering》。