Survey of Vision-Language-Action Models for Embodied Manipulation

具身智能系统通过持续的环境交互来增强智能体的能力，这一概念在学术界和工业界都引起了广泛关注。受大型基础模型发展的启发，视觉-语言-动作模型作为一种通用的机器人控制框架，显著提升了具身智能系统中智能体与环境的交互能力。这一进展也大大拓展了具身人工智能机器人的应用范围。本文对用于具身操作的VLA模型进行了全面综述。首先，回顾了VLA模型架构的发展历程；随后，从五个关键维度对当前的研究进行了深入分析，包括VLA模型结构、训练数据集、预训练方法、训练后处理方法以及模型评估。最后，总结了VLA在发展和实际部署过程中面临的主要挑战，并展望了未来具有潜力的研究方向。

论文试图系统性地综述面向具身操作任务的视觉-语言-动作（VLA）模型，探讨如何通过连续环境交互提升智能体的能力。这属于具身智能系统中一个快速发展的研究方向，旨在提升机器人与环境交互的能力，并扩展其应用范围。

提出以大规模基础模型为灵感的VLA模型作为通用的机器人控制框架，通过融合视觉、语言和动作模态，实现对复杂任务的高效控制。相比传统方法，VLA强调多模态融合与端到端学习，具有更强的泛化能力和适应性。

1. 系统梳理了VLA模型的发展脉络，并从模型结构、训练数据、预训练方法、后训练方法和模型评估五个维度进行了深入分析。 2. 总结了当前VLA模型在实际部署中面临的关键挑战，如泛化性、实时性、数据效率等问题。 3. 指出了未来研究方向，如更高效模型架构、更具规模的多模态数据集、跨任务迁移能力等。 4. 综述性质使其成为了解该领域现状与未来趋势的重要参考资料。

1. Towards a New Generation of Vision-Language-Action Models for Embodied Agents 2. Embodied Question Answering with Vision-Language-Action Models 3. BEiT-3: Masked Modality-Generalized Modeling for Vision-Language-Action Pre-training 4. Perceive, Attend, and Act: A Modular Framework for Vision-Language-Action Systems 5. RoboMagellan: Large-Scale Vision-Language-Action Learning for Autonomous Mobile Agents