Retrieval-Augmented Code Generation for Situated Action Generation: A Case Study on Minecraft

在Minecraft协作建筑任务中，两名玩家进行合作：建筑师(A)提供指令，指导建造者(B)使用3D方块组装指定的结构。在这项工作中，我们研究了使用大型语言模型(LLMs)来预测建造者采取的行动顺序。利用LLMs的上下文学习能力，我们使用了少量提示技术，显著提高了性能。此外，我们还对性能差距进行了详细分析，以供未来工作参考。

本文旨在研究如何利用大型语言模型（LLMs）预测Minecraft协作建筑任务中建筑师（A）给建造者（B）的指令序列。

本文采用少量样本提示技术，利用LLMs的上下文学习能力，显著提高了建造者的表现。

本文详细分析了表现差距的原因，并提出了未来工作的建议。实验使用了Minecraft数据集，开源了代码。

最近的相关研究包括：1. Learning to Collaborate in Multi-Agent Environments with Incomplete Information；2. Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration；3. Emergent Coordination through Competition