Learning by Watching: A Review of Video-based Learning Approaches for Robot Manipulation

机器人学习操纵技能的难点在于缺乏多样化、无偏见的数据集。虽然策划的数据集可以帮助解决问题，但在普适性和实际应用方面仍然存在挑战。与此同时，“野外”大规模视频数据集通过自监督技术推动了计算机视觉的进步。将这一点应用于机器人领域，最近的研究探索了通过被动观察在线视频来学习操纵技能。这些基于视频的学习范例表现出良好的结果，提供可扩展的监督，同时减少数据集的偏见。本文综述了视频特征表示学习技术、物体可供性理解、三维手/身体建模和大规模机器人资源等基础知识，以及从不受控制的视频演示中获取机器人操纵技能的新兴技术。我们讨论了仅从观察大规模人类视频中学习如何增强机器人操纵的泛化能力和样本效率。本文综述了基于视频的学习方法，分析了它们相对于标准数据集的优点、调查指标和基准，并讨论了这一新兴领域在计算机视觉、自然语言处理和机器人学习交叉口的未来挑战和发展方向。

如何从大规模无控制视频演示中获取机器人操作技能？如何解决机器人学习中数据集缺乏、数据集偏见、泛化能力和现实世界转移等问题？

通过观察大规模人类视频，学习机器人操作技能，提高机器人操作的泛化性和样本效率。

论文介绍了视频特征表示学习技术、物体可用性理解、3D手/身体建模和大规模机器人资源等基础知识，以及从无控制视频演示中获取机器人操作技能的新兴技术。论文总结了视频学习方法的优点、评估指标和基准，并讨论了该领域的挑战和未来方向。

相关研究包括：《Self-supervised Exploration via Disagreement》、《Learning to Grasp from Localizing Grasp Rectangles》、《Unsupervised Learning for Physical Interaction through Video Prediction》等。