GET-Zero: Graph Embodiment Transformer for Zero-shot Embodiment Generalization

本文介绍了GET-Zero，一种模型架构和训练程序，用于学习一个感知自身的控制策略，该策略可以立即适应新的硬件变化而无需重新训练。为此，我们提出了图形体现变换器（GET），这是一种变换器模型，利用了体现图的连通性作为学习的结构偏差在注意机制中。我们使用行为克隆将体现特定专家策略的演示数据提炼成一个感知自身的GET模型，该模型以机器人的硬件配置为条件进行控制决策。我们对一个四指机器人手的不同配置进行了一个手部内物体旋转任务的案例研究，包括移除关节和延长连杆长度。使用GET模型和自建模型损失，使得GET-Zero能够零样本泛化到未见过的图形结构和连杆长度变化，相比基线方法提高了20%。所有代码和定性视频结果都在https://get-zero-paper.github.io上。

GET-Zero论文旨在解决机器人控制中的硬件变化问题，即如何训练一个能够适应新硬件变化的控制策略。

GET模型利用图形连接性作为注意机制中的学习结构偏置，通过行为克隆将演示数据转化为GET模型，以控制决策条件化机器人硬件配置。同时，使用自建模型损失使GET-Zero能够零-shot泛化到看不见的图形结构和链接长度变化。

论文通过案例研究展示了GET-Zero在不同配置的四指机器人手中进行巧妙的手中物体旋转任务时的性能，相比基线方法提高了20%。论文开源了所有代码和定性视频结果。

近期相关研究包括：“Embodied AI”和“Zero-shot Learning for Robotics”等。