ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning

我们提出了一个框架，通过自然语言提示和来自机器人操作系统（ROS）的上下文信息，为非专业人士提供直观的机器人编程。我们的系统集成了大型语言模型（LLM），使非专业人士可以通过聊天界面向系统表达任务要求。该框架的关键特点包括：将ROS与连接到众多开源和商业LLM的AI代理集成，从LLM输出中自动提取行为并执行ROS操作/服务，支持三种行为模式（序列、行为树、状态机），模仿学习以将新的机器人动作添加到可能动作的库中，并通过人类和环境反馈进行LLM反思。广泛的实验验证了该框架，在包括长期任务、桌面重新排列和远程监督控制在内的各种场景中展示了其稳健性、可扩展性和多功能性。为了促进我们框架的采用并支持我们结果的再现，我们已经将我们的代码开源。您可以在以下网址访问它：https://github.com/huawei-noah/HEBO/tree/master/ROSLLM。

论文旨在提出一种适用于非专业人士的直观机器人编程框架，利用自然语言提示和ROS的上下文信息。

该框架整合了大型语言模型，使非专业人士能够通过聊天界面向系统表达任务需求。它还支持三种行为模式，包括序列，行为树和状态机，以及模仿学习添加新的机器人动作到可能的动作库中。

实验验证了该框架在不同场景下的鲁棒性，可扩展性和多功能性，包括长期任务，桌面重排和远程监督控制。研究人员还开源了他们的代码，以促进框架的采用和支持结果的再现。

最近的相关研究包括：1.《Deep Reinforcement Learning for Robotics: A Survey》；2.《A Survey of Robot Learning from Demonstration》；3.《Learning from Demonstration: A Review》。