LLM Granularity for On-the-Fly Robot Control

辅助机器人因其提高老年人等弱势人群生活质量的潜力而受到广泛关注。计算机视觉、大型语言模型和机器人技术的融合引入了“视觉语言动作”模式，将视觉和语言融入辅助机器人中，实现主动和交互式的帮助。这引发了一个问题：在视觉变得不可靠或不可用的情况下，我们是否可以仅依靠语言来控制机器人，即“语言动作”模式对于辅助机器人的可行性？本研究通过以下步骤初步回答了这个问题：1）评估辅助机器人对不同粒度语言提示的响应；2）探索实时控制机器人的必要性和可行性。我们设计并在Sawyer协作机器人上进行了实验以支持我们的论点。设计了一个Turtlebot机器人案例，以展示解决方案在辅助机器人需要操纵以提供帮助的情况下的适应性。代码将很快在GitHub上发布，以造福社区。

论文探讨在缺失视觉信息的情况下，是否可以仅依靠语言来控制辅助机器人，即“语言运动”模式是否可行？

通过评估不同粒度的语言提示对辅助机器人的响应，探索控制机器人的必要性和可行性。

论文设计了实验来验证语言控制机器人的可行性，使用了Sawyer cobot和Turtlebot robot进行实验，代码将在GitHub上开源。

近期的相关研究包括：1. A Review of Control Methods for Robotic Wheelchairs; 2. The Design and Implementation of a Robotic Wheelchair Control System Based on a Human-Robot Interaction Model.