Robot Learning: A Tutorial

机器人学习正处于一个关键的转折点，这得益于机器学习技术的快速进步以及大规模机器人数据日益广泛的可获得性。这一转变使得自主系统的能力实现了前所未有的突破，其核心是从传统的基于模型的方法转向以数据驱动、以学习为核心的范式。本教程系统地梳理了现代机器人学习的发展图景，从强化学习与行为克隆的基础原理出发，逐步深入到能够应对多种任务甚至不同机器人形态的通用型、语言条件化模型。本文旨在为研究人员和实践者提供一份实用指南，帮助读者建立起对机器人学习必要的概念理解与实践工具，并借助$\texttt{lerobot}$平台提供的即用型示例，助力其参与并推动该领域的进一步发展。

论文旨在解决机器人学习从传统的模型驱动方法向数据驱动范式转变中的系统性指导缺失问题。随着机器学习的进步和大规模机器人数据的可用性增加，如何有效地整合强化学习、行为克隆以及基于语言条件的通用模型，以实现跨任务和跨机器人形态的泛化能力，成为一个关键挑战。这并非一个全新问题，但当前缺乏统一框架和实践工具来支持研究人员快速上手并推动该领域发展。

提出一条从基础到前沿的机器人学习发展路径，涵盖从经典的监督学习与强化学习方法，逐步过渡到能够接受自然语言指令、适应多种任务和机器人类型的通用模型。其核心思想是通过开源框架 $\texttt{lerobot}$ 提供可复现、模块化且易于使用的实现示例，降低研究门槛，促进社区协作与创新。

提供了结构清晰的学习路线图，结合理论与实践；所有示例均在 $\texttt{lerobot}$ 框架中实现，代码已开源，便于复现和扩展；使用了包括真实机器人和仿真环境在内的多种数据集进行验证；实验设计强调跨任务和跨设备的泛化能力测试，展示了语言条件模型在零样本迁移上的潜力；值得深入研究的方向包括：提升小样本下的泛化性能、减少对大规模数据的依赖、增强物理安全性和现实部署稳定性。

1. Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents 2. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robot Control 3. PaLM-E: An Embodied Multimodal Language Model 4. VIMA: Generalist Models for Robots via Multi-Task Prompting 5. OpenX-Embodiment: Scaling Robot Learning with Open-Source Multi-Robot Datasets