Memory Sequence Length of Data Sampling Impacts the Adaptation of Meta-Reinforcement Learning Agents

快速适应新任务对于现实世界中的具身代理非常重要。元强化学习（meta-RL）已经成为一种有效的方法，可以在未知环境中实现快速适应。与基于策略的元RL算法相比，基于离线策略的算法更加依赖于高效的数据采样策略来提取和表示历史轨迹。然而，我们对不同的数据采样方法如何影响元RL代理表示未知环境的能力知之甚少。在这里，我们研究了数据采样策略对元RL代理探索和适应能力的影响。具体而言，我们在MuJoCo环境中的连续控制任务和稀疏奖励导航任务中，使用了基于Thompson采样和Bayes最优性理论的两种离线策略的元RL算法进行了实验。我们的分析揭示了长期记忆和短期记忆序列采样策略如何影响元RL代理的表示和适应能力。我们发现，基于Bayes最优性理论的算法比基于Thompson采样的算法表现更为稳健，适应能力更好，突显了适当的数据采样策略对代理表示未知环境的重要性，特别是在稀疏奖励的情况下。

本论文旨在研究数据采样策略对元强化学习代理在未知环境中探索和适应性的影响，探索不同数据采样方法对代理的表示能力和适应能力的影响。

本论文通过在MuJoCo环境中进行连续控制任务和稀疏奖励导航任务的实验，研究了基于Thompson采样和Bayes-optimality理论的两种离线元强化学习算法的表现。研究发现，长记忆和短记忆序列采样策略对元强化学习代理的表示和适应能力产生影响，而基于Bayes-optimality理论的算法表现更为稳健和适应性更好。

本论文的实验结果强调了适当的数据采样策略对代理在未知环境中的表示和适应能力的重要性，尤其是在奖励稀疏的情况下。论文使用了MuJoCo环境中的连续控制任务和稀疏奖励导航任务。此外，本论文还开源了相关代码。

最近的相关研究包括基于模型的元强化学习和基于策略的元强化学习等。相关论文包括《Model-Based Meta-Reinforcement Learning》和《Policy-Based Meta-Reinforcement Learning for Continuous Control with Generalization》等。