Foundation Models in Robotics: Applications, Challenges, and the Future

我们调查了预训练基础模型在机器人领域的应用。传统的深度学习模型在机器人领域通常是针对特定任务训练的小型数据集，这限制了它们在不同应用中的适应性。相比之下，预训练在互联网规模数据上的基础模型似乎具有更好的泛化能力，并且在某些情况下展现出发现零样本问题解决方案的突现能力。基础模型可能有助于增强机器人自主栈的各个组件，从感知到决策和控制。例如，大型语言模型可以生成代码或提供常识推理，而视觉-语言模型可以实现开放词汇的视觉识别。然而，仍然存在重大开放性研究挑战，特别是机器人相关训练数据的稀缺性、安全保证和不确定性量化，以及实时执行。在本调查中，我们研究了最近使用或构建基础模型解决机器人问题的论文。我们探讨了基础模型如何有助于提高机器人在感知、决策和控制领域的能力。我们讨论了阻碍基础模型在机器人自主性中应用的挑战，并提供了未来发展的机会和潜在路径。本文对应的GitHub项目（初步发布，我们致力于进一步增强和更新这项工作以确保其质量和相关性）可以在以下链接中找到：https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models。

探索基于预训练模型在自动驾驶领域的应用

本文提出了一种基于预训练模型的自动驾驶系统，通过使用大规模的图像和文本数据进行预训练，提高了系统的泛化能力和适应性，同时通过多任务学习和迁移学习，将预训练模型应用于自动驾驶中的感知、决策和控制等方面。

本文通过使用大规模的数据集进行预训练，提高了自动驾驶系统的泛化能力和适应性。同时，通过多任务学习和迁移学习，将预训练模型应用于自动驾驶中的感知、决策和控制等方面，取得了较好的实验结果。论文还提出了一些未来的研究方向，如如何将预训练模型与传统的规则引擎相结合，以及如何更好地处理模型的不确定性等。

近期在这个领域中，还有一些相关的研究，如《End-to-End Learning of Driving Models from Large-Scale Video Datasets》、《Learning a Driving Simulator》等。