AGILE: A Novel Framework of LLM Agents

我们引入了一种新颖的LLM代理框架，名为AGILE（与环境交互和学习的代理），旨在利用LLM、记忆、工具和与专家的互动，执行与用户的复杂对话任务。该代理的能力不仅包括对话，还包括反思、利用工具和与专家咨询。我们将这样一个LLM代理的构建形式化为一种强化学习问题，其中LLM充当策略模型。我们使用动作的标记数据和PPO算法对LLM进行微调。我们专注于问答，并发布了一个代理数据集，称为ProductQA，其中包含在线购物中具有挑战性的问题。我们在ProductQA和MedMCQA上进行了大量实验，结果显示，基于13B和7B LLMs训练的PPO的AGILE代理可以胜过GPT-4代理。我们的消融研究突出了记忆、工具、咨询、反思和强化学习在实现代理的强大性能方面的必要性。

本论文旨在介绍一种名为AGILE的LLM代理框架，旨在通过利用LLMs、记忆、工具和与专家的交互，执行复杂的对话任务。该代理的能力不仅包括对话，还包括反思、利用工具和咨询专家。作者试图解决如何构建这样一个LLM代理的问题，并验证其在在线购物问答方面的有效性。

该论文的关键思路是将构建LLM代理视为一种强化学习问题，其中LLM作为策略模型。通过使用标记的行动数据和PPO算法对LLM进行微调，以实现对话、反思、工具、咨询和强化学习等多方面的能力，从而提高其在线购物问答的性能。

该论文提出了一种新的LLM代理框架AGILE，可用于执行复杂的对话任务。作者还发布了一个名为ProductQA的数据集，包含在线购物方面的具有挑战性的问题。作者进行了广泛的实验，并表明使用13B和7B LLMs训练的AGILE代理可以胜过GPT-4代理。该论文的亮点包括其创新性的解决方案、使用的数据集和实验设计、以及对于记忆、工具、咨询、反思和强化学习等方面的重视。

最近在这个领域中，还有一些相关的研究，如GPT-4和MedMCQA。