Language Models May Verbatim Complete Text They Were Not Explicitly Trained On

今天一个重要的问题是，给定的文本是否被用于训练大型语言模型（LLM）。通常会使用一种称为\emph{补全}测试的方法：检查LLM是否能够完成一段足够复杂的文本。然而，这种方法需要一个关于成员身份的基准定义；最常见的做法是根据目标文本与数据集中任何文本之间的$n$-gram重叠程度来定义成员身份。在本研究中，我们证明了这种基于$n$-gram的成员身份定义可以被有效操控。我们研究了一些场景，在这些场景中，某些序列对于给定的$n$值实际上是\emph{非成员}，但补全测试仍然成功。通过移除所有被完成的训练样本并从头重新训练LLM，我们发现了许多这种现象的自然案例，包括完全重复、近似重复甚至短片段重叠的情况。这些案例表明，很难为成员身份定义找到一个单一可行的$n$值。基于这些洞见，我们设计了对抗性数据集，这些数据集可以在不包含目标序列的情况下，使其被LLM完成，无论选择哪个合理的$n$值。我们的研究结果揭示了基于$n$-gram的成员身份定义的不足之处，表明当前的成员身份定义未能充分考虑训练算法可利用的辅助信息。

论文试图解决的问题是如何准确判断一段文本是否被用于训练大型语言模型（LLM）。现有的方法通常依赖于n-gram重叠定义的成员资格，但这种方法的有效性受到质疑。这是一个需要重新审视的老问题，尤其是在LLM数据隐私和透明度日益重要的背景下。

论文的关键思路是通过重新训练LLM并移除特定的训练样本，来研究即使在没有明确n-gram重叠的情况下，模型仍可能完成某些文本的原因。这表明传统的n-gram成员资格定义存在漏洞，并提出了设计对抗性数据集的方法，以证明任何合理的n值都无法完全避免这种问题。相比现有研究，该论文揭示了模型可能利用了超出n-gram定义的辅助信息，从而挑战了当前的成员推断标准。

论文通过实验展示了即使删除了所有与目标序列相关的训练数据，LLM仍然可以完成这些序列。实验涵盖了多种情况，包括精确重复、近似重复和短片段重叠。此外，作者设计了对抗性数据集，进一步验证了这一现象。虽然论文未提及代码开源，但其实验设计为后续研究提供了重要参考。未来的研究方向可能包括开发更精细的成员推断标准以及探索LLM如何从复杂的数据分布中学习。

相关研究包括：1) 「Membership Inference Attacks Against Machine Learning Models」探讨了机器学习模型中的成员推断攻击；2) 「On the Privacy of Fine-Tuned Language Models」分析了微调后的语言模型对隐私的影响；3) 「Quantifying Memorization Across Neural Language Models」研究了神经语言模型的记忆特性；4) 「Language Models are Few-Shot Learners」讨论了LLM在少量样本学习中的能力。这些研究共同构成了关于LLM隐私和数据泄露风险的重要背景知识。