Evaluating Copyright Takedown Methods for Language Models

语言模型（LMs）通过对各种数据进行广泛的训练，包括可能受版权保护的材料，从而获得其功能。这些模型可以记忆并生成与其训练数据类似的内容，引发潜在的担忧。因此，模型创建者有动力开发减轻方法，以防止生成受保护的内容。我们将这个过程称为LM的版权下架，注意到这与DMCA下架的概念相似，但在法律上有区别。本文介绍了对版权下架LM的可行性和副作用的第一次评估。我们提出了CoTaEval，一个评估框架，用于评估版权下架方法的有效性，对模型保留禁止引用的训练数据中不受版权保护的事实知识的影响，以及模型维护其一般效用和效率的能力。我们研究了几种策略，包括添加系统提示，解码时过滤干预和取消学习方法。我们的发现表明，没有测试的方法在所有指标上都表现出色，显示出这个独特问题设置的研究空间很大，并指出潜在的未解决的政策提案挑战。

本论文旨在解决语言模型中可能存在的版权问题，提出了一种称为copyright takedowns for LMs的方法，通过对模型进行版权处理以避免生成受版权保护的内容。

本论文提出了一种评估copyright takedowns for LMs方法的评估框架CoTaEval，包括方法的有效性、对模型保留非版权限制事实知识的影响以及模型的通用性和效率。

论文探讨了几种方法，包括添加系统提示、解码时过滤干预和取消学习方法等，发现没有一种测试方法在所有指标上都表现出色，这表明这个问题领域还有很大的研究空间和未解决的挑战。

最近的相关研究包括《GPT-2》和《GPT-3》的版权问题，以及其他一些关于语言模型的隐私和安全问题的研究。