Revealing the learning process in reinforcement learning agents through attention-oriented metrics

我们对于强化学习（RL）代理的学习过程的理解仅限于其学习算法的数学公式，还有很多不明确的地方。为了弥补这一空白，我们引入了注意力导向度量（ATOMs）来研究RL代理在训练过程中的注意力发展。我们在三个不同变化的乒乓球游戏上测试了ATOMs，每个游戏都旨在教授代理不同的行为，并辅以行为评估。我们的研究发现，ATOMs成功地揭示了代理在每个游戏变化中训练时的注意力模式，并且这些注意力模式的差异转化为了代理的行为差异。通过对ATOMs的持续监测，我们观察到代理的注意力发展呈阶段性，并且这些阶段在不同游戏中是一致的。最后，我们注意到代理对其球拍的关注在训练的较晚阶段才出现，并且与其性能得分的显着增加相一致。总的来说，我们认为ATOMs可以显著增强我们对RL代理学习过程的理解，这对于提高它们的可靠性和效率至关重要。

本论文旨在通过引入关注度导向度量（ATOMs）来研究强化学习（RL）代理的关注度发展，以增强我们对其学习过程的理解。

ATOMs成功地描绘了代理在不同游戏变体中的关注模式，并发现这些关注模式的差异会转化为代理的行为差异。通过对ATOMs的持续监控，研究人员发现代理的关注度发展呈现阶段性，并且这些阶段在不同游戏中是一致的。

论文使用了三种不同的Pong游戏变体来测试ATOMs，并进行了行为评估。实验结果表明，ATOMs成功地描绘了代理在不同游戏变体中的关注模式，并发现这些关注模式的差异会转化为代理的行为差异。代理对其球拍的关注相对较晚出现，并与其性能得分的显著提高相吻合。论文提出的ATOMs度量方法可以显著提高我们对RL代理学习过程的理解。

在近期相关研究中，也有一些关注于RL代理的学习过程的研究。例如，Mnih等人在2015年的论文《Human-level control through deep reinforcement learning》中提出了一种基于深度学习的强化学习方法。另外，Haarnoja等人在2020年的论文《Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor》中提出了一种基于最大熵的深度强化学习方法。