Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration

大型语言模型（LLMs）在机器人领域越来越受欢迎。然而，基于LLM的机器人由于语言模型、机器人和环境之间的集成不佳，仅限于简单、重复的动作。本文提出了一种新的方法，通过人机协作（HRC）来增强基于LLM的自主操作的性能。该方法涉及使用提示的GPT-4语言模型，将高级语言命令分解为机器人可以执行的动作序列。该系统还采用基于YOLO的感知算法，为LLM提供视觉线索，有助于在特定环境中规划可行的动作。此外，通过结合远程操作和动态运动原理（DMP）提出了一种HRC方法，使基于LLM的机器人能够从人类指导中学习。使用丰田人类支援机器人进行操作任务进行了实际实验。结果表明，需要复杂的轨迹规划和对环境进行推理的任务可以通过融合人类演示来高效完成。

本论文旨在通过人机协作的方式，提高基于大型语言模型的自主操作性能，解决目前LLM机器人在语言模型、机器人和环境之间集成不足的问题。

论文提出了一种新的方法，通过使用提示的GPT-4语言模型将高级语言命令分解为机器人可以执行的动作序列，同时采用基于YOLO的感知算法，为LLM提供视觉线索，从而帮助其在特定环境中进行可行的动作规划。此外，论文还提出了一种HRC方法，通过结合远程操作和动态运动原理（DMP），使基于LLM的机器人能够从人类指导中学习。

论文使用了Toyota人类支援机器人进行操作任务的实际实验，结果表明，通过结合人类演示，可以有效地完成需要复杂轨迹规划和对环境的推理的任务。值得注意的是，论文中提出的方法可以被广泛应用于机器人操作领域，并且可以与其他技术相结合，以进一步提高机器人的性能。

最近在这个领域中，还有一些相关研究，如《Deep Reinforcement Learning for Robotic Manipulation with Asymmetric Rewards》、《Learning Dexterous In-Hand Manipulation》、《End-to-End Learning of Semantic Grasping》等。