大规模生成模型在近两年为自然语言处理甚至计算机视觉带来的巨大的突破。最近这股风潮也影响到了强化学习，尤其是离线强化学习（offline RL），诸如 Decision Transformer (DT), Trajectory Transformer（TT）, Gato[3], Diffuser这样的方法，将强化学习的数据（包括状态，动作，奖励和 return-to-go）当成了一串去结构化的序列数据，并将建模这些序列数据作为学习的核心任务。这些模型都可以用监督或自监督学习的方法来训练，避免了传统强化学习中比较不稳定的梯度信号。即便使用复杂的策略提升 (policy improvement) 和估值 (value estimation) 方法，它们在离线强化学习中都展现了非常好的表现。

 

本篇将简单谈谈这些基于序列建模的强化学习方法，下篇笔者将介绍我们新提出的，Trajectory Autoencoding Planner(TAP)，一种用 Vector Quantised Variational AutoEncoder (VQ-VAE)进行序列建模并进行高效的隐动作空间（latent action space）内规划的方法。

阅读详情

内容中包含的图片若涉及版权问题，请及时与我们联系删除