Evaluating Copyright Takedown Methods for Language Models

语言模型（LMs）的能力来源于对各种数据的广泛训练，包括可能受版权保护的材料。这些模型可以记忆和生成类似于其训练数据的内容，可能引发潜在的担忧。因此，模型创建者有动力开发缓解方法，以防止生成受保护的内容。我们将这个过程称为LMs的版权下架，注意到它与DMCA下架的概念相似但在法律上有区别。本文介绍了第一次评估版权下架对LMs的可行性和副作用。我们提出了CoTaEval，一个评估框架，以评估版权下架方法的有效性，对模型保留未受版权保护的事实知识的能力的影响，以及模型保持其一般效用和效率的能力。我们检查了几种策略，包括添加系统提示，解码时过滤干预和取消学习方法。我们的研究结果表明，没有任何测试方法在所有指标上表现出色，这表明在这个独特的问题设置中还有大量的研究空间，并指出了潜在的未解决的政策提案挑战。

本论文旨在解决语言模型中可能存在的版权问题，提出了一种称为版权下架的解决方案，并对该方案进行评估。

本论文提出了一种名为CoTaEval的评估框架，用于评估版权下架方法的有效性、对模型保留未受版权保护的事实知识的影响以及模型的通用效用和效率。

论文考虑了几种策略，包括添加系统提示、解码时过滤干预和取消学习方法，并发现没有一种测试方法在所有指标上都表现出色。实验使用了多个数据集，并提供了开源代码。本论文的研究为解决语言模型中版权问题提供了新思路。

最近的相关研究包括对语言模型的训练和应用进行的研究，以及对版权问题的解决方案进行的研究。例如，有关语言模型的研究包括《GPT-2模型》和《BERT模型》等。有关版权问题的研究包括《数字千年版权法》和《版权保护技术》等。