Probing Language Models for Pre-training Data Detection

大型语言模型(LLMs)展示了它们令人印象深刻的能力，同时也引发了关于数据污染问题的担忧，这是由于隐私问题和基准数据集在预训练阶段的泄露导致的。因此，检测污染是否通过检查LLM是否已在目标文本上进行预训练是至关重要的。最近的研究集中在生成的文本上，并计算困惑度，这些都是表面特征，不可靠。在这项研究中，我们提出利用探测技术来检测预训练数据，通过检查模型的内部激活。我们的方法简单而有效，并导致更可靠的预训练数据检测。此外，我们提出了ArxivMIA，这是一个新的具有挑战性的基准，包括计算机科学和数学类别的arxiv摘要。我们的实验表明，我们的方法优于所有基线，并在WikiMIA和ArxivMIA上实现了最先进的性能，额外的实验证实了它的功效(我们的代码和数据集可在https://github.com/zhliu0106/probing-lm-data中获得)。

检测大型语言模型在预训练阶段中的数据污染问题，提高数据检测的可靠性。

利用探测技术检测模型的内部激活，而非表面特征，以提高预训练数据检测的准确性。

提出了一种简单而有效的利用探测技术进行预训练数据检测的方法，并在计算机科学和数学领域的ArxivMIA数据集上实现了最先进的性能，代码和数据集已公开。

最近的研究集中在生成的文本上计算困惑度，本文提出的方法在预训练数据检测上取得了更好的效果。