Data Contamination Calibration for Black-box LLMs

大型语言模型（LLM）的快速发展紧密关联于训练数据规模的扩大。然而，未经检查的超大规模训练集会带来一系列潜在风险，比如数据污染，即使用基准数据进行训练。在这项工作中，我们提出了一种名为“极性增强校准”（PAC）的整体方法，以及一个即将发布的新数据集，以检测受污染的数据并减少污染效应。PAC通过形成一个更全局的目标来扩展机器学习社区中流行的MIA（成员推理攻击），以检测训练数据以澄清不可见的训练数据。作为开创性的工作，PAC非常易于使用，可以与大多数（如果不是全部）当前的白盒和黑盒LLM集成。通过广泛的实验证明，PAC在4个数据集格式上的数据污染检测方面至少比现有方法优越4.5％，使用了超过10个基础LLM。此外，我们在实际场景中的应用突显了污染及相关问题的显著存在。

论文旨在解决大型语言模型训练数据过大导致的数据污染问题，提出了一个名为PAC的方法来检测和减少数据污染的影响。

PAC方法扩展了MIA方法，通过全局目标来检测训练数据以澄清不可见的训练数据。PAC方法可以与当前的大多数白盒和黑盒LLMs集成。

论文提出了一个新的方法PAC来检测和减少大型语言模型训练数据的污染问题，实验证明PAC方法在四种数据集格式和十多种基础LLMs上的数据污染检测方面优于现有方法。论文还提供了一个新的数据集，并强调了数据污染及其相关问题在现实场景中的重要性。

最近的相关研究包括MIA方法以及其他一些用于检测和减少大型语言模型训练数据污染问题的方法。