Neuro-Symbolic Artificial Intelligence: Towards Improving the Reasoning Abilities of Large Language Models

大语言模型（LLMs）在各种任务中都展现出了令人瞩目的成果，但其推理能力仍然是一个根本性的挑战。开发具备强大推理能力的AI系统被视为实现通用人工智能（AGI）过程中的一个关键里程碑，也引起了学术界和工业界的广泛关注。为了增强LLMs的推理能力，人们已经探索了多种技术，其中神经符号方法（neuro-symbolic approaches）被认为是一条尤其有前景的路径。本文全面回顾了近年来在利用神经符号方法提升LLMs推理能力方面的研究进展。我们首先对推理任务进行了形式化定义，并简要介绍了神经符号学习范式。随后，我们从三个角度探讨了用于提升LLMs推理能力的神经符号方法：符号系统→LLMs、LLMs→符号系统，以及LLMs与符号系统的结合。最后，我们讨论了若干关键挑战以及未来有前景的研究方向。此外，我们还发布了一个GitHub仓库，其中包含了与本综述相关的论文和资源：https://github.com/LAMDASZ-ML/Awesome-LLM-Reasoning-with-NeSy。

论文旨在解决大语言模型（LLMs）在推理能力方面的不足。尽管LLMs在各种任务中表现良好，但其推理能力仍然是一个核心挑战。开发具有强大推理能力的人工智能系统被视为实现通用人工智能（AGI）的重要里程碑。

论文提出了一种基于神经符号方法（neuro-symbolic approaches）的解决方案，以增强LLMs的推理能力。与当前研究不同，论文从三个视角探讨了神经符号方法的应用：Symbolic->LLM、LLM->Symbolic和LLM+Symbolic，系统化地结合了符号推理和神经网络的优势。

1. 论文对推理任务进行了形式化定义，并介绍了神经符号学习范式。 2. 全面总结了近期神经符号方法在LLM推理中的发展。 3. 讨论了实验设计、数据集的使用以及未来研究方向。 4. 发布了包含相关论文和资源的GitHub仓库（开源代码和数据集），便于后续研究。

1. Neural-Symbolic Learning: Integrating Connectionist and Symbolic Computation 2. DeepProbLog: Differentiable Probabilistic Logic Programming 3. Symbolic Reasoning in Transformers: A Case Study on Mathematical Reasoning 4. Program of Thoughts: A New Framework for Reasoning with Language Models 5. Towards Reasoning in Large Language Models with Symbolic Knowledge Injection