谷歌机器人开放命令正确率高达93.5%，相关数据集已开源

论文链接：https://arxiv.org/pdf/2210.06407.pdf

项目主页：https://interactive-language.github.io/

通过对几十万个语言标注轨迹的数据集进行行为克隆训练，产生的策略可以熟练地执行比以前的工作实现了多一个数量级的命令。在现实世界中，研究人员估计该方法在87000个不同的自然语言字符串上有93.5%的成功率。

 眼前的这个男人正在对着一个机器人不断发出自然语言指令，如「把绿色的星推到红色块之间」、「把蓝色的方块移动到左下角」，机器人对每一次输入的指令都可以实时完成。

实时语言可以使人和机器人更容易在复杂的长期任务中进行协作，人们可以迭代和交互式地指导机器人操作，偶尔会有语言反馈。

目前的相关工作大体可以分为以下三部分：

1、机器人本体需要存在于现实世界；

2、能够响应大量且丰富的自然语言命令；

3、能够执行交互式的（interactive）语言命令，即机器人需要在任务执行的过程中接受新的自然语言指令。

对于第三点来说，目前机器人领域在交互式方面的发展速度仍然非常缓慢，也让机器人缺乏「生命感」。

虽然该项目目前仅限于桌面上的一套固定的物体，但交互式语言的实验结果可以初步表明，大规模模仿学习确实可以生产出实时交互式机器人，能够遵循自由形式的终端用户命令。

为了推动物理机器人实时语言控制技术的进步，研究人员开源了Language-Table，也是目前最大的基于语言条件下的真实世界机器人演示数据集，也可以作为相关的模拟基准。

研究人员认为，这个数据集的作用可能不仅仅局限于机器人控制领域，而且可能为研究语言和动作条件视频预测、机器人视频条件语言建模，或者在更广泛的机器学习环境中研究其他许多有趣的活跃问题提供一个新起点。