Large Language Models for Robotics: Opportunities, Challenges, and Perspectives

大型语言模型（LLMs）经历了显著的扩展，并越来越多地被整合到各个领域。值得注意的是，在机器人任务规划领域，LLMs利用其先进的推理和语言理解能力，根据自然语言指令制定精确和高效的行动计划。然而，在与复杂环境交互的具体任务中，由于缺乏与机器人视觉感知兼容的文本，仅有文本的LLMs常常面临挑战。本研究全面概述了LLMs和多模态LLMs在各种机器人任务中的新兴整合。此外，我们提出了一个框架，利用多模态GPT-4V通过自然语言指令和机器人视觉感知的结合来增强具体任务规划。我们基于不同的数据集得出的结果表明，GPT-4V有效地提高了机器人在具体任务中的表现。这项对LLMs和多模态LLMs在各种机器人任务中的广泛调查和评估，丰富了对LLM为中心的具体智能的理解，并提供了前瞻性的见解，以弥合人-机器人-环境交互的差距。

本文试图解决在机器人任务规划中，文本型大型语言模型（LLMs）由于缺乏与机器人视觉感知的兼容性而面临的挑战。

本文提出了一个框架，利用多模态GPT-4V结合自然语言指令和机器人视觉感知，增强机器人执行任务的性能。

本文对LLMs和多模态LLMs在各种机器人任务中的应用进行了全面的调查和评估，并提出了一种新的框架。实验结果表明，GPT-4V可以有效地提高机器人在执行任务时的性能。

最近的相关研究包括《Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems》和《Multimodal Language Analysis in the Wild: CMU-MOSEI Dataset and Interpretable Dynamic Fusion Graph》。