The Dormant Neuron Phenomenon in Deep Reinforcement Learning

G Sokar, R Agarwal, P S Castro, U Evci
[Eindhoven University of Technology & Google Research]

深度强化学习的休眠神经元现象

要点:

  1. 描述了深度强化学习中的休眠神经元现象，即智能体网络出现越来越多不活跃的神经元，影响网络的表现力；
  2. 这种现象的存在在各种算法和环境中得到了证明，本文强调了其对学习的影响；
  3. 为了解决该问题，提出一种简单有效的方法(ReDo)，在整个训练过程中回收休眠神经元，减少休眠神经元数量并提高性能；
  4. ReDo 可作为一个重要的组成部分，以样本高效方式扩展强化学习网络，并有可能进一步研究初始化和优化回收的能力，以实现更好的结果。

一句话总结:
深度强化学习网络存在休眠神经元现象，降低了网络的表现力，ReDo 是一种回收休眠神经元的简单方法，可以保持网络利用率并提高性能。

In this work we identify the dormant neuron phenomenon in deep reinforcement learning, where an agent's network suffers from an increasing number of inactive neurons, thereby affecting network expressivity. We demonstrate the presence of this phenomenon across a variety of algorithms and environments, and highlight its effect on learning. To address this issue, we propose a simple and effective method (ReDo) that Recycles Dormant neurons throughout training. Our experiments demonstrate that ReDo maintains the expressive power of networks by reducing the number of dormant neurons and results in improved performance.

论文链接：https://arxiv.org/abs/2302.12902
图片
图片
图片图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除