Enabling Waypoint Generation for Collaborative Robots using LLMs and Mixed Reality

编程机器人是一个复杂的任务，因为它要求用户精通特定的编程语言并了解机器人的物理限制。我们提出了一个框架，通过使用自然语言直接进行通信来简化机器人部署。它使用大型语言模型（LLM）进行快速处理、工作区理解和路径点生成。它还采用增强现实（AR）来提供计划结果的视觉反馈。我们通过一个简单的拾取和放置任务展示了我们框架的有效性，并在真实机器人上实现了它。此外，我们提出了一个表现力机器人行为和技能生成的早期概念，可以用来与用户进行交流和学习新技能（例如，物体抓取）。

简化机器人部署，通过自然语言直接交流，解决编程机器人的复杂性问题。

使用大型语言模型（LLM）进行处理、理解和生成路径，同时结合增强现实（AR）提供视觉反馈，实现简化机器人部署的框架。

论文通过一个简单的拾取和放置任务展示了框架的有效性，并提出了表达机器人行为和技能生成的早期概念。

最近的相关研究包括：1. Learning from Demonstrations using Large-Scale Inverse Reinforcement Learning；2. Interactive Language Acquisition with Grounded and Aligned Semantic Parser；3. Learning to Navigate the Web with Language。