Towards Generalist Robot Learning from Internet Video: A Survey

本次调查概述了在强化学习（RL）和机器人技术背景下，从视频中学习（LfV）的方法。我们重点关注能够扩展到大型互联网视频数据集并在此过程中提取有关世界动态和人类行为的基础知识的方法。这些方法对于开发通用机器人具有巨大的潜力。 我们首先概述了与LfV-for-robotics环境相关的基本概念。这包括讨论LfV方法可以提供的令人兴奋的好处（例如，改进超出机器人数据的泛化）以及关于LfV挑战的评论（例如，与视频中缺失的信息和LfV分布转移相关的挑战）。我们的文献综述始于分析能够从大型异构视频数据集中提取知识的视频基础模型技术。接下来，我们回顾了专门利用视频数据进行机器人学习的方法。在这里，我们根据从视频数据中获益的RL知识模式对工作进行分类。我们还强调了缓解LfV挑战的技术，包括审查解决视频中缺失动作标签问题的动作表示法。 最后，我们检查了LfV数据集和基准测试，然后通过讨论LfV中的挑战和机会来结束调查。在这里，我们提倡可扩展的方法，可以利用所有可用数据的完整范围，并针对LfV的关键优势。总的来说，我们希望这项调查能够成为LfV新兴领域的全面参考，促进该领域的进一步研究，并最终促进通用机器人的进步。

本篇论文旨在研究如何从大规模互联网视频数据集中学习，从而提取关于世界动态和人类物理行为的基础知识，并将其应用于强化学习和机器人领域，以发展通用机器人。

该论文提出了一种能够从大规模互联网视频数据集中提取知识的模型，并将其应用于机器人领域的强化学习中。论文将视频数据应用于机器人学习的不同方面，并提出了一些解决视频数据中缺失信息和分布偏移等挑战的技术。

论文提出的方法能够从大规模视频数据集中提取知识，并将其应用于机器人学习中，从而提高机器人学习的泛化能力。论文还介绍了一些解决视频数据中缺失信息和分布偏移等挑战的技术。实验使用了多个数据集进行验证，并提供了开源代码。

近期在这个领域中的相关研究包括：Learning from Demonstrations Using Signal Temporal Logic，Deep Reinforcement Learning for Vision-Based Robotic Grasping: A Simulated Comparative Evaluation，Unsupervised Learning of Object Keypoints for Perception and Control。