Finding NeMo: Localizing Neurons Responsible For Memorization in Diffusion Models

Diffusion模型（DMs）产生非常详细和高质量的图像。它们的强大源于对大量数据进行广泛的训练，通常是从互联网上获取的，但未经原始内容创建者的适当归属或同意。不幸的是，这种做法引发了隐私和知识产权问题，因为DMs可以在推理时记忆并复制其可能敏感或受版权保护的训练图像。以前的努力通过改变扩散过程的输入来防止这个问题，从而防止DM在推理过程中生成记忆样本，或者完全从训练中删除记忆数据。虽然这些解决方案在DM在安全和不断监控的环境中开发和部署时是可行的，但它们存在对手绕过安全措施的风险，并且在DM本身被公开发布时无效。为了解决这个问题，我们介绍了NeMo，这是第一个将DM中单个数据样本的记忆定位到交叉注意力层神经元级别的方法。通过我们的实验，我们发现许多情况下，单个神经元负责记忆特定的训练样本。通过停用这些记忆神经元，我们可以避免在推理时复制训练数据，增加生成输出的多样性，并减轻私人和受版权保护的数据泄漏。通过这种方式，我们的NeMo有助于更负责任地部署DMs。

如何解决扩散模型在训练时可能会记忆私人或版权数据，从而在推断时产生敏感信息泄露的问题？

通过NeMo方法，定位扩散模型中记忆特定数据样本的神经元，并通过关闭这些神经元来避免推断时的数据泄露。

NeMo是第一个将扩散模型中的记忆定位到神经元级别的方法，通过关闭记忆神经元来避免数据泄露。实验结果表明，很多情况下，单个神经元负责记忆特定的训练样本。通过关闭这些神经元，可以增加生成输出的多样性并减少数据泄露。

最近的相关研究包括使用不同的输入来防止扩散模型在推断时生成记忆的样本，或者从训练数据中删除记忆数据。