GateON: an unsupervised method for large scale continual learning
解决问题：GateON是一种用于大规模连续学习的无监督方法，旨在解决传统神经网络在连续学习中出现的灾难性遗忘和泛化能力有限的问题。论文试图验证GateON方法是否能够在连续学习中防止关键知识被覆盖，使得网络能够在多个任务之间进行前向和后向传递，实现大规模连续学习。
关键思路：GateON方法通过可学习的活动门控和参数重要性的在线估计来保护关键知识不被覆盖，生成部分重叠的路径来实现前向和后向传递。GateON方法通过固定神经元的重新激活机制来解决参数固定后网络饱和的问题，实现了大规模连续学习。GateON方法在全连接网络、CNN和Transformers等多种网络上进行了实现，具有低计算复杂度，有效地学习了多达100个MNIST学习任务，并在基于连续学习的NLP任务中实现了预训练BERT的顶尖结果。相比当前领域的研究，GateON方法创新地引入了活动门控和参数重要性在线估计的组合，实现了大规模连续学习。
其他亮点：GateON方法的实验设计充分，使用了多个数据集，包括MNIST和NLP任务，论文提供了开源代码，便于其他研究人员进行复现和改进。GateON方法的成功实现为大规模连续学习提供了新的思路和方法，值得进一步深入研究。
关于作者：Martin Barry、Guillaume Bellec和Wulfram Gerstner分别来自瑞士洛桑联邦理工学院的神经信息处理实验室，是该实验室的主要成员之一。他们的代表作包括《Reservoir Computing Approaches to Recurrent Neural Network Training》和《Long Short-Term Memory and Learning-to-Learn in Networks of Spiking Neurons》等。
相关研究：近期其他相关的研究包括《Continual Learning with Hypernetworks》（David Rolnick等，纽约大学）、《Continual Learning with Adaptive Weights》（Kwonjoon Lee等，谷歌）和《Online Continual Learning with Maximally Interfered Retrieval》（Jianing Pang等，斯坦福大学）等。
论文摘要：GateON：一种用于大规模连续学习的无监督方法 马丁·巴里，吉约姆·贝勒克，沃尔弗拉姆·格斯特纳 连续学习（CL）的目标是在不重新对早期任务进行训练的情况下按顺序学习任务。然而，传统神经网络在接受CL时会出现灾难性遗忘和有限的泛化能力。为了解决这些问题，我们引入了一种新方法，称为“门控和障碍网络”（GateON）。GateON结合了可学习的活动门控和参数相关性的在线估计，以保护重要知识不被覆盖。我们的方法在任务之间生成部分重叠的路径，允许在顺序学习过程中进行正向和反向传递。GateON通过固定神经元的重新激活机制来解决参数固定后网络饱和的问题，从而实现了大规模的连续学习。GateON在各种网络（全连接、CNN、Transformers）上实现，计算复杂度低，有效地学习了多达100个MNIST学习任务，并在基于CL的NLP任务中实现了预训练BERT的顶尖结果。