QuadrupedGPT: Towards a Versatile Quadruped Agent in Open-ended Worlds

虽然宠物可以提供陪伴，但它们的有限智能限制了与人类进行高级推理和自主交互的能力。因此，我们提出了QuadrupedGPT，这是一个多功能代理人，旨在掌握广泛的复杂任务，其敏捷性可与宠物相媲美。为了实现这一目标，主要挑战包括：i）有效利用多模态观察来进行决策；ii）掌握灵活的运动控制和路径规划；iii）开发先进的认知能力来执行长期目标。QuadrupedGPT使用大型多模态模型（LMM）处理人类命令和环境上下文。在其广泛的知识库的支持下，我们的代理人自主分配适当的参数，以实现适应性运动策略，并通过语义感知的地形分析指导代理人规划安全但高效的路径，此外，QuadrupedGPT配备有解决问题的能力，使其能够通过高级推理将长期目标分解为可执行的子目标序列。在各种基准测试中进行的广泛实验证实，QuadrupedGPT可以熟练地处理具有复杂指令的多个任务，这是迈向开放式世界中多功能四足代理人的重要一步。我们的网站和代码可在https://quadruped-hub.github.io/Quadruped-GPT/找到。

本论文旨在设计一种四足机器人智能代理，能够像宠物一样应对多种复杂任务，解决了宠物在智能和自主交互方面的限制。这是否是一个新问题？

本论文的关键思路是设计了一个大型多模态模型（LMM），能够处理人类指令和环境上下文，实现智能决策，并自主分配适当的参数来控制四足机器人的运动策略，以及通过语义感知地形分析指导机器人规划安全高效的路径。此外，本文的代理还具备问题解决能力，能够通过高层推理将长期目标分解为可执行的子目标。相比当前领域的研究状况，这篇论文的思路有什么新意？

本论文的亮点包括：使用了大型多模态模型（LMM）实现智能决策；自主分配适当的参数控制四足机器人的运动策略；通过语义感知地形分析指导机器人规划安全高效的路径；具备问题解决能力，能够通过高层推理将长期目标分解为可执行的子目标。实验设计详细，使用了多个数据集，开源了代码，为相关工作提供了参考。

最近在这个领域中，还有一些相关的研究，如：《Robot Navigation in the Wild: Perception, Planning, and Learning》、《Learning Quadrupedal Locomotion over Challenging Terrain》等。