Can LLMs Generate Human-Like Wayfinding Instructions? Towards Platform-Agnostic Embodied Instruction Synthesis

我们提出了一种新颖的方法，用于自动合成“路径指引”以供具有身体的机器人代理使用。与以前的方法相比，这种方法不依赖于专门为特定模拟平台设计的人工标注数据集，而是使用上下文学习来调节LLM，仅使用少量参考文献生成指令。使用基于LLM的视觉问答策略，我们收集有关环境的详细信息，LLM用于指令合成。我们在多个模拟平台上实现了我们的方法，包括Matterport3D、AI Habitat和ThreeDWorld，从而展示了其平台无关性。我们通过用户研究进行主观评估，观察到83.3%的用户认为合成的指令准确捕捉了环境的细节，并显示出类似于人类生成的指令的特征。此外，我们使用生成的指令在REVERIE数据集上进行了多种导航的零样本测试，并观察到与基线在标准成功度量上非常接近的相关性（SR变化<1%），量化了生成指令替代人工标注数据的可行性。最后，我们讨论了我们的方法在启用具有普适性的体验导航策略的评估方面的适用性。据我们所知，我们的方法是第一个能够以平台无关的方式生成“类人”指令的LLM驱动方法，而无需训练。

自动合成机器人导航指令的问题

使用少量参考数据，通过上下文学习和 LLM 驱动的视觉问答策略，实现平台无关的机器人导航指令自动生成

实现了平台无关的机器人导航指令自动生成，通过用户研究和零样本导航实验证明了生成的指令准确性和可行性

先前的方法主要依赖于针对特定模拟平台的人工注释数据集，而本论文则通过上下文学习和 LLM 驱动的视觉问答策略实现了平台无关的自动生成机器人导航指令的方法