STEVE Series: Step-by-Step Construction of Agent Systems in Minecraft

建立一个以大型语言模型（LLM）为核心的具有实体代理系统是一个有前途的方向。由于在真实世界中部署和训练这样的代理所涉及的显著成本和不可控因素，我们决定在Minecraft环境中开始探索。我们的STEVE系列代理可以在虚拟环境中完成基本任务，甚至可以完成导航和创意任务等更具挑战性的任务，其效率比之前的最先进方法高出$2.5\times$至$7.3\times$的倍数。我们开始使用一个原始的大型语言模型进行探索，通过在我们收集的高质量数据集STEVE-21K上训练一个视觉编码器和一个动作代码库来增强它。随后，我们通过添加评论家和记忆来将其转化为一个复杂的系统。最后，我们构建了一个分层多代理系统。我们最近的工作探索了如何通过知识蒸馏来修剪代理系统。在未来，我们将探索STEVE代理在现实世界中的更多潜在应用。

探索在Minecraft环境下使用大型语言模型作为核心的具有体现特征的智能代理系统，并解决其中涉及的成本和可控因素的问题。

使用STEVE-21K数据集训练大型语言模型，并将其与视觉编码器和动作代码库相结合，进一步增强其性能，构建一个具有记忆和评论家的复杂系统，并构建分层多智能体系统。

论文通过在Minecraft环境下的实验验证了STEVE代理系统的有效性，其效率比之前的最先进方法高2.5倍到7.3倍。论文使用了STEVE-21K数据集进行训练，并开发了一个具有记忆和评论家的复杂系统。研究人员还尝试了使用知识蒸馏来优化代理系统。

最近的相关研究包括：《Learning to Navigate in Unseen Environments: Back Translation with Environmental Dropout》和《Learning to Navigate in Cities Without a Map》。