走向具有基础模型的统一智能体

走向具有基础模型的统一智能体

标题：Towards A Unified Agent with Foundation Models

链接：https://arxiv.org/abs/2307.09668 

作者：Norman Di Palo, Arunkumar Byravan, Leonard Hasenclever, Markus Wulfmeier, Nicolas Heess, Martin Riedmiller

单位：帝国理工学院，DeepMind

摘要：

语言模型和视觉语言模型最近在理解人类意图、推理、场景理解和类似规划行为等文本形式方面表现出了前所未有的能力。这项工作中，作者研究了如何将这些能力嵌入和利用在强化学习（RL）代理中。本文设计了一个框架，以语言作为核心推理工具，探索这如何使代理能够解决一系列基本的 RL 挑战，如高效探索、重复使用经验数据、调度技能和从观察中学习，这些传统上需要单独设计的垂直算法。本文在一个稀疏奖励的模拟机器人操作环境中测试了这个方法，其中机器人需要堆叠一组物体。结果显示出在探索效率和能够重复使用离线数据集方面相对于基线的显著性能改进，并说明了如何重复使用学到的技能来解决新任务或模仿人类专家。