Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

一种创建人工智能（AI）代理的关键方法是强化学习（RL）。然而，构建一个独立的RL策略，直接将感知映射到行动中，遇到了严重的问题，其中最主要的问题是它在多个任务之间缺乏普适性和需要大量的训练数据。主要原因是在设计策略时，它不能有效地将先前的信息整合到感知-行动循环中。大型语言模型（LLM）出现作为将跨领域知识整合到AI代理中的基本方法，但缺乏特定决策问题的关键学习和适应性。本文提出了一个通用的框架模型，用于将结构化推理整合和学习到AI代理的策略中。我们的方法受到人类大脑中发现的模块化的启发。该框架利用构建内在和外在函数来添加之前对推理结构的理解。它还提供了适应性，以在每个模块或函数内学习模型，与认知过程的模块化结构一致。我们深入描述了该框架，并将其与其他AI流水线和现有框架进行了比较。本文探讨了实际应用，涵盖了展示我们方法有效性的实验。我们的结果表明，当组织推理和先前知识时，AI代理的表现和适应能力都更好。这为更具弹性和普适性的AI代理系统打开了大门。

在构建人工智能代理时，传统的强化学习方法存在泛化性不足和需要大量训练数据的问题，缺乏将先前知识结构整合到感知-行动循环中的能力。本文旨在提出一种将结构化推理整合到人工智能代理政策中的框架模型，以解决这些问题。

本文提出了一种利用内在和外在函数构建模块化的推理结构的框架，为人工智能代理政策整合和学习结构化推理。该框架具有自适应能力，可以在每个模块或函数内学习模型，与认知过程的模块化结构相一致。

本文的亮点在于提出了一种新的框架，将结构化推理整合到人工智能代理政策中，以提高代理的性能和适应性。实验结果表明，嵌入推理结构和先前知识可以显著提高人工智能代理的性能和适应性。本文还介绍了实验设计和使用的数据集，并提供了开源代码。

最近的相关研究包括《Towards a Unified Architecture for Natural Language Processing: Integrating Large Scale Pretraining and Task-Specific Fine Tuning》、《Learning to Reason with Third-Order Tensor Products》等。