Real-World Offline Reinforcement Learning from Vision Language Model Feedback

离线强化学习能够从预先收集的、次优的数据集中学习策略，而无需在线交互。这使其非常适合现实世界的机器人和安全关键场景，因为在这些场景中，收集在线数据或专家演示既缓慢又昂贵，且存在风险。然而，大多数现有的离线强化学习工作假设数据集已经用任务奖励进行了标注，这一过程通常需要大量的人力，特别是在真实世界中难以确定真实状态的情况下。在本文中，我们基于先前的工作，特别是RL-VLM-F，提出了一种新颖的系统，该系统使用视觉-语言模型的偏好反馈和任务的文本描述，自动为离线数据集生成奖励标签。我们的方法随后使用带有奖励标签的数据集通过离线强化学习来学习策略。我们展示了该系统在复杂的真实世界机器人辅助穿衣任务中的适用性，在这项任务中，我们首先使用视觉-语言模型在次优的离线数据集上学习奖励函数，然后利用所学的奖励函数采用隐式Q学习来开发有效的穿衣策略。我们的方法在涉及刚性和可变形物体操作的模拟任务中也表现出色，并显著优于行为克隆和逆向强化学习等基线方法。总之，我们提出了一种新的系统，能够从未标注的、次优的离线数据集中自动进行奖励标注和策略学习。

该论文旨在解决从预收集的、次优的数据集中自动为任务生成奖励标签的问题，特别是在真实世界的应用中，人工标注奖励标签既耗时又昂贵。这在机器人技术和安全关键场景中尤为重要，因为在线数据收集或专家演示既缓慢又风险高。

论文的关键思路是利用视觉-语言模型（Vision-Language Model, VLM）和任务的文本描述来自动生成数据集的奖励标签，然后使用这些带有奖励标签的数据集通过离线强化学习（Offline Reinforcement Learning, Offline RL）学习策略。这种方法避免了人工标注的高成本，并且能够在没有在线交互的情况下训练出有效的策略。

论文在复杂的真实世界机器人辅助穿衣任务中展示了系统的有效性，首先使用视觉-语言模型学习奖励函数，然后应用隐式Q学习（Implicit Q Learning）开发有效的穿衣策略。此外，该方法在涉及刚性和可变形物体操作的模拟任务中也表现出色，显著优于行为克隆（Behavior Cloning）和逆向强化学习（Inverse RL）。论文还提供了开源代码，方便其他研究人员复现和进一步研究。

近年来，关于离线强化学习的研究逐渐增多，包括但不限于以下几篇相关论文：1)《Offline Reinforcement Learning with Implicit Q-Learning》；2)《Reward Learning from Human Preferences and Demonstrations in Atari》；3)《Learning to Act by Asking Questions: A Survey of Interactive Reward Shaping》。这些研究都在探索如何从有限的、次优的数据中有效学习策略，但本论文的独特之处在于利用视觉-语言模型自动生成奖励标签，从而减少对人工标注的依赖。