Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis

建造能够在任何环境下、与任何物体无缝操作、利用各种技能完成各种任务的通用机器人一直是人工智能领域的一个长期目标。然而，大多数现有的机器人系统都受到限制，因为它们被设计用于特定任务、在特定数据集上进行训练，并在特定环境中部署。这些系统通常需要大量标记数据，依赖于特定任务的模型，在实际场景中存在许多泛化问题，并且很难保持对分布变化的鲁棒性。受自然语言处理（NLP）和计算机视觉（CV）等研究领域中基于大规模预训练模型（即基础模型）的出色开放集性能和内容生成能力的启发，我们致力于探索（i）如何将NLP和CV中的现有基础模型应用于机器人领域，以及（ii）机器人专用基础模型的特点。我们首先概述了传统机器人系统的构成和使其普遍适用的基本障碍。接下来，我们建立了一个分类法来讨论当前探索利用现有基础模型为机器人提供支持并开发适用于机器人的基础模型的工作。最后，我们讨论了使用基础模型实现通用机器人系统面临的主要挑战和有前途的未来方向。我们鼓励读者查看我们的GitHub资源库，其中包括本次调查中审查的论文以及用于开发机器人基础模型的相关项目和资源库。

如何将自然语言处理和计算机视觉领域的大型预训练模型应用于机器人领域，以实现通用性和多功能性机器人系统？

使用基于自然语言处理和计算机视觉领域的大型预训练模型作为基础模型，通过微调和改进，使其适用于机器人领域，以实现通用性和多功能性机器人系统。

论文提出了使用基于自然语言处理和计算机视觉领域的大型预训练模型作为机器人通用性模型的思路，并对目前的相关工作进行了分类和总结。论文提供了相关资源的GitHub库，包括相关论文和相关项目的代码库。论文还讨论了使用基础模型实现通用性机器人系统的挑战和未来方向。

近期的相关研究包括：《Large-Scale Pretraining for Visual Dialog: A Simple State-of-the-Art Baseline》、《Language Models as Knowledge Bases?》、《Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments》等。