Long-horizon Locomotion and Manipulation on a Quadrupedal Robot with Large Language Models

我们提出了一个基于大型语言模型（LLM）的系统，为四足机器人赋予解决长期任务的问题解决能力，超越了短期动作。对于四足动物的长期任务具有挑战性，因为它们需要高层次的问题语义理解来进行任务规划，并需要广泛的运动和操作技能来与环境进行交互。我们的系统建立了一个高层次的推理层，利用大型语言模型，从任务描述中生成混合离散-连续的计划作为机器人代码。它包括多个LLM代理：语义规划器用于草拟计划，参数计算器用于预测计划中的参数，代码生成器将计划转换为可执行的机器人代码。在低层次上，我们采用强化学习来训练一组运动规划和控制技能，以释放四足动物在丰富环境交互方面的灵活性。我们的系统在长期任务上进行了测试，这些任务使用单个技能无法完成。模拟和实际实验表明，它成功地找出了多步策略，并展示了非平凡的行为，包括建立工具或通知人类寻求帮助。

该论文旨在为四足机器人提供长期任务的问题解决能力，包括高层次的任务规划和广泛的运动和操作技能，以与环境进行交互。

该论文提出了一种基于大型语言模型的系统，通过生成离散-连续混合计划作为机器人代码来构建高层次的推理层。同时，采用强化学习训练一组运动规划和控制技能来实现四足机器人与环境的灵活互动。

该论文的亮点包括使用大型语言模型生成机器人代码，采用强化学习训练运动规划和控制技能，实现了多步策略和非平凡行为，如制造工具或通知人类寻求帮助。

在这个领域中，最近的相关研究包括“Learning to Plan with Learned Heuristics”和“Learning to Move in Modular Robots Using Central Pattern Generators and Online Optimization”。