Scaling Laws for Data Poisoning in LLMs

最近的研究表明，LLMs容易受到数据污染的影响，即它们在部分受损或有害数据的训练下进行学习。污染的数据很难检测，破坏了防护措施，并导致不良和有害行为。鉴于领先实验室为训练和部署越来越大、更有能力的LLMs所做的巨大努力，我们有必要问一下，数据污染的风险是否会自然减轻，还是会成为一个日益严重的威胁。我们考虑了三种数据污染的威胁模型：恶意微调、不完美的数据管理和有意的数据污染。我们的实验评估了23个前沿LLMs在三个数据集上的影响，这三个数据集分别对应我们的三种威胁模型。我们发现，更大的LLMs越来越容易受到影响，即使是轻微的数据污染也会使它们学习到有害的行为，比较小的LLMs则不会。这些结果强调了需要在更大的LLMs中建立强大的防护措施来防范数据污染。

论文旨在研究大型语言模型（LLMs）在面对数据污染时的脆弱性，探讨数据污染是否会自然减轻或者增加威胁。同时，论文提出三种数据污染的威胁模型：恶意微调、不完美的数据整理和有意的数据污染。

论文通过对23个LLMs在三个数据集上进行实验，发现随着模型规模的增大，模型的脆弱性也随之增加，即使只有轻微的数据污染也会导致模型学习到有害行为。因此，需要在大型LLMs中加强数据污染的防护措施。

值得关注的是，论文提出了三种数据污染的威胁模型，并且通过实验验证了大型LLMs的脆弱性。同时，论文还使用了23个LLMs和三个数据集进行了实验，这些实验数据对于研究人员和从业者都具有参考价值。

最近的相关研究包括《The Limitations of Deep Learning in Adversarial Settings》、《Adversarial Examples Are Not Bugs, They Are Features》等。