Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning

在这项工作中，我们解决了强化学习（RL）中的零样本泛化（ZSG）挑战，即代理程序必须在没有额外训练的情况下适应全新的环境。我们认为理解和利用上下文线索，例如环境的重力水平，对于稳健的泛化至关重要，并提议将上下文表示的学习直接与策略学习相结合。我们的算法在各种模拟领域上展示了改进的泛化能力，在零样本设置中优于先前的上下文学习技术。通过联合学习策略和上下文，我们的方法获得了行为特定的上下文表示，使其能够适应未见过的环境，并标志着强化学习系统在多样化的现实任务中实现泛化的进展。我们的代码和实验可在 https://github.com/tidiane-camaret/contextual_rl_zero_shot 上获取。

本文试图解决的问题是如何在零样本学习（zero-shot learning）的情况下，让智能体在全新的环境中适应并学习。此外，论文还试图证明理解和利用环境的上下文线索对于强化学习的鲁棒性至关重要。

本文的关键思路是将上下文表示的学习与策略学习直接整合在一起，以获得行为特定的上下文表示形式，从而使智能体能够适应未知环境。

本文的亮点包括：1.提出了一种新的方法来解决零样本学习的问题，并在多个模拟领域中证明了其有效性；2.通过直接整合上下文表示的学习和策略学习，使智能体能够适应未知环境；3.开源了代码和实验数据集，方便其他研究者进行相关研究。

在最近的相关研究中，也有一些关于零样本学习和强化学习的研究。例如：“Zero-shot Learning - A Comprehensive Evaluation of the Good, the Bad and the Ugly”和“Zero-shot Transfer Learning with Synthesized Data for Multi-Task Reinforcement Learning”。