A Prefrontal Cortex-inspired Architecture for Planning in Large Language Models

大型语言模型（LLMs）在各种任务中表现出令人印象深刻的性能，但它们经常在需要多步推理或目标导向规划的任务中遇到困难。为了解决这个问题，我们从人类大脑中汲取灵感，其中规划是通过前额叶皮层（PFC）中专门模块的反复交互完成的。这些模块执行冲突监测、状态预测、状态评估、任务分解和任务协调等功能。我们发现，LLMs有时能够单独执行这些功能，但在为目标自主协调它们方面遇到困难。因此，我们提出了一个带有多个基于LLM的（GPT-4）模块的黑盒架构。该架构通过专门的PFC启发模块的交互，将一个较大的问题分解为多个对LLM的短暂自动调用，从而改善了规划。我们在三个具有挑战性的规划任务（图遍历、汉诺塔和物流）上评估了组合架构，发现它相对于标准的LLM方法（例如零-shot提示、上下文学习和思维链）产生了显着的改进。这些结果表明，利用认知神经科学的知识来改进LLMs的规划具有益处。

提高大型语言模型在多步推理或目标导向规划任务中的表现

通过多个基于GPT-4的模块模拟人脑前额叶皮层的规划方式，将大型语言模型的规划能力从单一任务推广到多步推理和目标导向规划任务

论文提出了一个黑盒架构，通过多个专门的模块将大型语言模型的规划能力进行分解和协调，实现多步推理和目标导向规划任务的提高。实验结果表明该架构在三个挑战性的规划任务上均有显著提高

最近的相关研究包括但不限于：《Scaling Cognitive Control with the Human Frontal Lobes: From Basic Principles to Complex Behaviors》、《Towards a Neural Algorithm of Multistep Reinforcement Learning》