Instruction Following with Goal-Conditioned Reinforcement Learning in Virtual Environments

在这项研究中，我们解决了让人工智能代理在虚拟环境中执行复杂语言指令的问题。在我们的框架中，我们假设这些指令涉及复杂的语言结构和多个相互依赖的任务，必须成功地导航才能实现所需的结果。为了有效地管理这些复杂性，我们提出了一个分层框架，将大型语言模型的深度语言理解能力与强化学习代理的自适应行动执行能力相结合。基于LLM的语言模块将语言指令翻译成高级行动计划，然后由预先训练的强化学习代理执行。我们在两个不同的环境中展示了我们方法的有效性：在IGLU中，代理被指示建造结构，在Crafter中，代理根据语言命令执行任务并与周围环境中的物体进行交互。

如何让人工智能代理在虚拟环境中执行复杂的语言指令？

提出了一种层次化框架，结合大型语言模型的深度语言理解和强化学习代理的自适应行动执行能力，将语言指令转化为高级行动计划，并由预训练的强化学习代理执行。

实验在两个不同的环境中进行，展示了该方法的有效性。论文提出的层次化框架将大型语言模型和强化学习代理相结合，能够执行复杂的语言指令。

最近的相关研究包括《Learning to Navigate in Complex Environments》和《Language Models as Cognitive Models》等。