Slow and Steady Wins the Race: Maintaining Plasticity with Hare and Tortoise Networks

这项研究探讨了神经网络普适性能力的丧失，重新审视了Ash & Adams的热启动实验。我们的实证分析揭示了为增强可塑性而设计的常见方法在提高普适性方面提供了有限的益处。虽然重新初始化网络可能是有效的，但也有失去宝贵先前知识的风险。为此，我们介绍了灵感来自大脑互补学习系统的Hare & Tortoise。Hare & Tortoise由两个组件组成：Hare网络和Tortoise网络。Hare网络类似于海马体，可以快速适应新信息，而Tortoise网络则逐渐整合知识，类似于新皮层。通过定期将Hare网络重新初始化为Tortoise网络的权重，我们的方法保留了可塑性，同时保留了一般知识。Hare & Tortoise可以有效地维护网络的普适能力，从而提高了Atari-100k基准上的先进强化学习算法。代码可在https://github.com/dojeon-ai/hare-tortoise找到。

论文旨在研究神经网络的泛化能力下降问题，并提出一种新的解决方案。这是否是一个新问题？

论文提出了一种灵感来源于大脑的学习系统Hare & Tortoise，它由两个部分组成：快速适应新信息的Hare网络和逐渐整合知识的Tortoise网络。通过定期将Hare网络重新初始化为Tortoise网络的权重，该方法保留了可塑性同时保留了一定的先前知识，有效地维护了网络的泛化能力。

论文的亮点包括提出了一种新的解决方案Hare & Tortoise，它可以有效地维护网络的泛化能力，并在Atari-100k数据集上改进了强化学习算法。代码已经开源。论文还对现有的一些方法进行了实验比较，并发现它们对于泛化能力的提升效果有限。

在最近的研究中，也有许多关于神经网络泛化能力下降的问题进行了探讨。例如，Zhang等人的“在深度神经网络中，为什么简单的方法很有效？”和Arpit等人的“在深度神经网络中，如何避免泛化误差的积累？”等。