Sphere Neural-Networks for Rational Reasoning

大型语言模型（LLMs）的成功，例如ChatGPT，体现在它们的全球普及、人类问答能力以及稳步提高的推理性能。然而，LLMs是否推理仍不清楚。如何将传统的神经网络定性扩展以超越统计范式并实现高层次认知是一个开放问题。在这里，我们通过将计算建模块从向量推广到球体，提出了一种极简的定性扩展。我们提出了球形神经网络（SphNNs）用于模型构建和检查，以进行类人推理，并为三段论推理开发了SphNN，这是人类理性的微观世界。SphNN不使用训练数据，而是使用邻域空间关系的神经符号转换图来指导从当前球体配置向目标的转换。SphNN是第一个能够通过构建球形配置作为欧拉图来确定长链三段论推理有效性的神经模型，其最坏计算复杂度为O（N^2）。SphNN可以演化为各种推理类型，如时空推理、带否定和分离的逻辑推理、事件推理、神经符号推理和理解幽默（认知的最高层次）。所有这些都表明了一个新的Herbert A. Simon的剪刀形式，具有两个神经刀片。SphNNs将极大地增强跨学科合作，以开发这两个神经刀片，并实现确定性神经推理和人类有限理性，并将LLMs提升为可靠的心理AI。这项工作表明，球体的非零半径是阻止传统深度学习系统进入理性推理领域并导致LLMs陷入幻觉泥潭的缺失组件。

论文旨在解决LLMs是否能够进行推理的问题，提出了一种基于球体神经网络的解决方案。

论文提出了一种新的神经网络模型——Sphere Neural Networks（SphNNs），通过将计算建模的基本单元从向量扩展到球体，实现了对人类推理的模拟。

SphNNs是第一个能够在一个epoch内确定长链三段论推理有效性的神经模型，能够进行多种类型的推理，如空间-时间推理、逻辑推理、事件推理、神经符号推理和幽默理解。该模型不需要训练数据，使用邻域空间关系的神经符号转换图来指导从当前球体配置向目标的转换。论文还提出，球体的非零半径是传统深度学习系统无法达到理性推理领域和导致LLMs陷入幻觉泥潭的缺失组件。

最近的相关研究包括在LLMs和神经符号推理方面的工作，如GPT-3、BERT和Neuro-Symbolic Concept Learner。