Memorization in deep learning: A survey

深度学习（Deep Learning，DL）由深度神经网络（Deep Neural Networks，DNNs）驱动，已经彻底改变了各个领域，但是理解DNN决策制定和学习过程的复杂性仍然是一个重大挑战。最近的研究发现了一种有趣的记忆现象，即DNN倾向于记住示例中的特定细节，而不是学习一般模式，这影响了模型的泛化、安全性和隐私性。这引发了关于DNN泛化本质和其易受安全漏洞攻击的关键问题。在本次调查中，我们提出了一个系统的框架，以基于泛化和安全/隐私领域的记忆定义为基础，并总结了在示例和模型层面上的记忆评估方法。通过全面的文献综述，我们探讨了DNN记忆行为及其对安全和隐私的影响。我们还介绍了由记忆引起的隐私漏洞和遗忘现象，并探讨了它与记忆的联系。此外，我们还重点介绍了利用记忆和遗忘机制的各种应用，包括噪声标签学习、隐私保护和模型增强。本次调查首次深入了解DNN记忆，为增强人工智能的发展提供了洞察，并解决了关键的伦理问题。

本文旨在探讨深度神经网络（DNN）中的记忆现象及其对模型泛化、安全和隐私的影响，以及与记忆相关的隐私漏洞和遗忘现象，同时介绍应用记忆和遗忘机制的各种应用。

本文提出了一个系统的框架来组织基于泛化和安全/隐私领域的记忆定义，并总结了例子和模型层面的记忆评估方法。通过全面的文献综述，探讨了DNN记忆行为及其对安全和隐私的影响，介绍了由记忆引起的隐私漏洞以及遗忘现象，并探讨了它与记忆的联系。此外，还着重介绍了利用记忆和遗忘机制的各种应用，包括噪声标签学习、隐私保护和模型增强。

本文是对DNN记忆现象的首次全面理解，提供了对其挑战和机遇的见解，同时解决了关键的伦理问题。实验设计合理，使用了多个数据集，并提供了相关代码。

在这个领域中，最近的相关研究包括“Understanding deep learning requires rethinking generalization”、“Adversarial examples are not bugs, they are features”等。