【标题】NROWAN-DQN: A stable noisy network with noise reduction and online weight adjustment for exploration

【作者团队】Shuai Han, Wenbo Zhou, Jiayi Lu, Jing Liu, Shuai Lü

【发表日期】2022.5.6

【论文链接】https://www.sciencedirect.com/sdfe/reader/pii/S0957417422006996/pdf

【推荐理由】噪声对于强化学习探索至关重要。适当的噪声不仅可以避免由于缺乏探索而导致的局部最优解，还可以防止过度扰动导致的学习不稳定。具有噪声的网络可以为强化学习带来更有效的探索。它们使智能体能够在训练开始时更随机地采取行动，并倾向于使智能体在随后的学习中产生稳定的输出。但是，这种趋势并不总能为智能体找到稳定的策略，因此效率和稳定性较低。针对这个问题，本文提出了NROWAN-DQN，即降噪和在线权重调整NoisyNet-DQN。首先，本文为 NoisyNet-DQN 开发了一种新颖的噪声正则化方法，以减少输出层的噪声。其次，设计了一种用于降噪的在线权重调整策略。最后，在四个标准领域评估该算法并分析超参数的属性。实验结果表明，NROWAN-DQN 在所有这些领域都优于先前的算法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除