LIMT: Language-Informed Multi-Task Visual World Models

最近机器人强化学习的最新成果涉及学习专门的单一任务代理。然而，在真实世界应用中，能够执行多个任务的机器人可以更有价值。多任务强化学习可能非常具有挑战性，因为样本复杂度增加和任务目标可能存在冲突。以往的工作主要是基于无模型的方法，即使是学习专门的单一任务代理，无模型方法也可能非常低效。在本文中，我们专注于基于模型的多任务强化学习。我们提出了一种学习多任务视觉世界模型的方法，利用预训练的语言模型来提取语义上有意义的任务表示。这些表示被世界模型和策略用于推理动态和行为的任务相似性。我们的结果突出了使用以语言为驱动的任务表示进行世界模型的好处，以及基于模型的多任务学习比更常见的无模型范式具有明显优势。

本论文试图解决机器人多任务强化学习中的样本复杂度和任务目标冲突问题，提出了一种基于模型的多任务强化学习方法。

论文提出了一种使用预训练语言模型提取语义任务表示的方法，用于学习多任务视觉世界模型，并将其应用于模型和策略中，以推理动力学和行为的任务相似性。

论文的实验结果表明，使用基于语言的任务表示来学习世界模型具有明显的优势，并且基于模型的多任务学习比常见的基于模型的单任务学习方法更加高效。论文使用了开源的数据集和代码。

最近相关研究包括基于模型的单任务学习和基于模型的多任务学习，以及使用语言模型来提取任务表示的方法。相关论文包括《Model-Based Reinforcement Learning for Atari》、《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》等。