SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention

我们提出了自适应鲁棒机器人变压器（SARA-RT）的自我注意力，这是解决机器人变压器（RT）在机器人部署方面扩展性挑战的新范式。SARA-RT依赖于我们提出的新的微调方法，称为上调训练。它将基于变压器的机器人策略进行微调，这些策略具有二次时间复杂度（包括大规模十亿参数的视觉-语言-动作模型或VLAs），转换为其高效的线性关注对应物，同时保持高质量。我们通过加速最近引入的RT-2模型的类别以及在大型点云上运行的点云变压器（PCT）机器人策略，展示了SARA-RT的有效性。我们通过严格的数学分析补充了我们的结果，提供了对SARA现象的更深入的洞察。

本论文旨在解决Robotics Transformers（RT）在机器人部署中的规模问题，提出了一种新的fine-tuning方法——up-training，以将复杂度为二次的Transformer-based机器人策略转化为线性注意力的策略，从而提高效率。

SARA-RT的关键思路是使用up-training方法将复杂的Transformer-based机器人策略转化为线性注意力的策略，从而提高效率。

论文使用SARA-RT方法成功地提高了RT-2模型和Point Cloud Transformer（PCT）模型的速度，并提供了数学分析来解释SARA的现象。实验使用了大规模的数据集，并提供了开源代码。

最近的相关研究包括VLAs、Transformer-based机器人策略和机器人部署等方面的研究。