Improving Replay Sample Selection and Storage for Less Forgetting in Continual Learning

解决问题：本文旨在解决连续学习中的遗忘问题，尤其是在存储和选择重放样本方面的问题。这是否是一个新问题？连续学习中的遗忘问题一直是人工智能领域的一个重要问题。

关键思路：本文提出了一种新的方法来选择最具信息量的样本，并确定存储样本的最佳数量。与当前领域的研究相比，本文的关键思路在于比较了常用的蓄水池采样与各种替代群体策略，并提供了对如何找到最佳存储样本数量的详细分析。

其他亮点：本文的实验设计了多个数据集，并与其他方法进行了比较，证明了本文提出的方法的有效性。此外，本文还提供了开源代码。本文的亮点之一是，它提出了一种新的方法来选择最具信息量的样本，并确定存储样本的最佳数量，这对于解决连续学习中的遗忘问题非常重要。

关于作者：Daniel Brignac、Niels Lobo和Abhijit Mahalanobis都是来自谷歌的研究员。他们之前的代表作包括Daniel Brignac在ICLR 2019上发表的“Deep k-NN: Towards Confident, Interpretable and Robust Deep Learning”、Niels Lobo在ICLR 2018上发表的“Efficient Online Matrix Factorization for Large Scale Recommendation System”、Abhijit Mahalanobis在NIPS 2016上发表的“Deep Kalman Filters”。

相关研究：近期其他相关的研究包括：“Continual Learning with Deep Generative Replay”（Shin et al.，MIT）和“Gradient Episodic Memory for Continual Learning”（Lopez-Paz et al.，Facebook AI Research）。

论文摘要：这篇文章探讨了不断学习的问题，即如何让深度学习器在未知长度的一系列任务中训练，同时又不会忘记之前的任务。其中一个有效的解决方案是回放，即将少量的先前经验存储在内存中，并在学习当前任务时进行回放。然而，在选择最具信息量的样本进行存储和确定存储样本的最佳数量方面仍有改进的空间。本研究旨在通过对通常使用的蓄水池采样与各种替代人口策略进行新颖比较，并提供有关如何找到最佳存储样本数量的新颖详细分析来解决这些问题。

内容中包含的图片若涉及版权问题，请及时与我们联系删除