Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks

这项研究认为，仅通过模型在超出分布数据上的表现来评估多模态模型的泛化能力是不足以捕捉其真正的鲁棒性的。因此，本文提出了一个全面的评估框架，系统地考察指令和输入在这类模型的泛化能力中的作用，包括架构设计、跨语言和视觉模态的输入扰动以及任务复杂度的增加。所提出的框架揭示了多模态模型对极端指令扰动的弹性以及对观察变化的脆弱性，引发了对过度拟合假相关性的担忧。通过对当前基于Transformer的机器人操作任务的多模态模型采用这个评估框架，我们揭示了其中的局限性，并建议未来的改进应该集中在架构和训练创新上，更好地整合多模态输入，通过优先考虑输入内容的敏感性而非偶然相关性来增强模型的泛化能力。

本文旨在引入一个全面的评估框架，系统地研究指令和输入对多模态模型泛化能力的影响。

通过对当前Transformer-based多模态模型进行评估，揭示了它们对指令扰动的弹性和对观察变化的脆弱性，提出了未来改进的方向。

实验设计了多种输入扰动和任务复杂度，揭示了多模态模型的局限性和潜在问题。研究者建议未来的研究应该注重架构和训练创新，以更好地整合多模态输入，提高模型的泛化能力。

相关研究包括多模态模型的构建和评估方法，以及提高模型鲁棒性的各种技术。