Scaling Instructable Agents Across Many Simulated Worlds

构建能够在任何3D环境中遵循任意语言指令的具有实体化能力的人工智能系统是创建通用人工智能的关键挑战。实现这一目标需要学习将语言与感知和具体行动联系起来，以完成复杂任务。可扩展、可指导、多世界代理（SIMA）项目通过训练代理程序在各种虚拟3D环境中遵循自由形式的指令来解决这一问题，包括策划研究环境以及开放式的商业视频游戏。我们的目标是开发一个可指导的代理程序，能够在任何模拟的3D环境中完成人类所能做的任何事情。我们的方法侧重于以语言为驱动的通用性，同时施加最少的假设。我们的代理程序使用一种通用的、类似于人类的接口实时与环境进行交互：输入是图像观察和语言指令，输出是键盘和鼠标操作。这种通用方法具有挑战性，但它允许代理程序在许多视觉复杂和语义丰富的环境中建立语言联系，同时也允许我们在新环境中轻松运行代理程序。在本文中，我们描述了我们的动机和目标，我们已经取得的初步进展以及在几个不同的研究环境和各种商业视频游戏中的有前途的初步结果。

构建具有任意语言指令的智能体，能够在任何3D环境中执行任务是创建通用人工智能的关键挑战。本文旨在通过训练代理程序在各种虚拟3D环境中遵循自由形式的指令来解决这个问题。

本文的关键思路是通过语言驱动的普适性来训练代理程序，以在许多视觉复杂和语义丰富的环境中接地语言，同时允许我们在新环境中轻松运行代理程序。

本文使用了通用的人类接口，输入是图像观察和语言指令，输出是键盘和鼠标操作。实验涵盖了多个研究环境和各种商业视频游戏，并取得了有希望的初步结果。本文的方法具有挑战性，但它允许代理程序在许多视觉复杂和语义丰富的环境中接地语言，同时也允许我们在新环境中轻松运行代理程序。

最近的相关研究包括：Learning to Navigate in Cities Without a Map、Interactive Language Learning by Robots、Learning to Learn How to Learn: Self-Adaptive Visual Navigation Using Meta-Learning、Learning to Interpret Natural Language Commands through Human-Robot Dialog等。