ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning

我们提供了一个框架，用于通过自然语言提示和来自机器人操作系统（ROS）的上下文信息进行直观的非专家级机器人编程。我们的系统集成了大型语言模型（LLM），使得非专家可以通过聊天界面向系统表达任务要求。该框架的关键特点包括：将ROS与连接到大量开源和商业LLM的人工智能代理集成，从LLM输出中自动提取行为并执行ROS操作/服务，支持三种行为模式（序列，行为树，状态机），模仿学习以将新的机器人动作添加到可能的动作库中，以及通过人类和环境反馈的LLM反射。广泛的实验验证了该框架，在包括长时间任务、桌面重新排列和远程监督控制在内的各种场景中展示了其稳健性、可扩展性和通用性。为了促进我们的框架的采用并支持我们结果的再现，我们已经将我们的代码开源。您可以访问：https://github.com/huawei-noah/HEBO/tree/master/ROSLLM。

提供一种面向非专家的直观机器人编程框架，利用自然语言提示和ROS的上下文信息。

使用大型语言模型（LLMs）与ROS集成，通过聊天界面使非专家能够向系统表达任务要求，支持三种行为模式，包括序列、行为树和状态机。

使用模仿学习为机器人动作库添加新的动作，通过人类和环境反馈来反映LLM，框架在各种场景中进行了广泛实验，包括长期任务、桌面重新排列和远程监督控制。

近期的相关研究包括：《RoboFlow：使用自然语言和演示学习进行机器人编程》、《使用自然语言指令进行机器人操作的增强学习框架》、《利用深度强化学习实现机器人自主操作的方法》等。