From Text to Motion: Grounding GPT-4 in a Humanoid Robot "Alter3"

我们报告了Alter3的开发，这是一个能够利用大型语言模型（LLM）——具体来说是GPT-4——产生自发运动的人形机器人。通过将GPT-4集成到我们的专有安卓机器人Alter3中，我们实现了这一成就，从而有效地将LLM与Alter的身体运动结合起来。通常，低级机器人控制是硬件相关的，超出了LLM语料库的范围，这对于直接基于LLM进行机器人控制提出了挑战。然而，在像Alter3这样的人形机器人的情况下，通过将人类行动的语言表达式映射到机器人的身体上，直接控制是可行的，这通过程序代码实现。值得注意的是，这种方法使Alter3能够采取各种姿势，例如“自拍”姿势或“假装成鬼”的姿势，并在时间上生成动作序列，而不需要为每个身体部位进行显式编程。这证明了机器人的零样本学习能力。此外，口头反馈可以调整姿势，消除了微调的需要。Alter3生成的动作视频可在https://tnoinkwms.github.io/ALTER-LLM/上观看。

论文旨在开发一种能够使用大型语言模型（LLM）生成自发运动的人形机器人，以及解决LML直接控制机器人的挑战性问题。

通过将GPT-4集成到人形机器人Alter3中，将语言表达的人类动作映射到机器人的身体上，实现直接控制机器人的能力，并展示了机器人的零样本学习能力。

论文展示了Alter3机器人生成自发运动的视频，使用的数据集和开源代码也可在论文中找到。此外，机器人可以通过口头反馈调整姿势，具有一定的交互性。

最近的相关研究包括使用深度学习控制机器人的研究，例如DeepMimic和Dactyl。