ExploRLLM: Guiding Exploration in Reinforcement Learning with Large Language Models

在具有大量观察和动作空间的基于图像的机器人操作任务中，强化学习在样本效率低、训练速度慢和收敛不确定性方面存在困难。作为替代方案，大型预训练基础模型在机器人操作中显示出了很好的前景，特别是在零样本和少样本应用中。然而，直接使用这些模型是不可靠的，因为它们的推理能力有限，并且在理解物理和空间上下文方面存在挑战。本文介绍了ExploRLLM，这是一种新颖的方法，利用基础模型（例如大型语言模型）的归纳偏差来指导强化学习中的探索。我们还利用这些基础模型来重新定义动作和观察空间，以增强强化学习的训练效率。我们的实验表明，引导探索比没有引导探索能够更快地收敛。此外，我们验证了ExploRLLM优于基础模型基线，并且在仿真中训练的策略可以在实际环境中应用而无需额外的训练。

本论文旨在解决图像驱动的机器人操作任务中，强化学习在样本效率低、训练速度慢和收敛不确定等方面的困难，同时利用预训练的基础模型来指导探索，提高强化学习的训练效率。

论文提出了一种新方法ExploRLLM，利用预训练的基础模型的归纳偏差来引导强化学习中的探索，同时通过改变动作和观测空间来增强强化学习的训练效率。

论文通过实验验证了引导探索能够比没有引导探索更快地收敛，并且ExploRLLM优于基础模型的基准结果。同时，论文还验证了在仿真环境中训练的策略可以直接应用于真实环境中，无需额外训练。

在这个领域中，最近的相关研究包括：Pre-Training with Whole Word Masking for Chinese BERT，Few-shot Learning with Graph Neural Networks，Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference等。