Unveiling the Spectrum of Data Contamination in Language Models: A Survey from Detection to Remediation

由于大型语言模型（LLMs）依赖于广泛的互联网训练语料库，因此数据污染在这个时代引起了越来越多的关注。训练语料库与评估基准的重叠问题——即污染——已成为最近重要研究的焦点。这些研究旨在从不同的角度识别污染、了解其影响并探索缓解策略。然而，在这个新兴领域中，缺乏提供从基础概念到高级洞察力的清晰路径的全面研究。因此，我们提出了一份全面的数据污染领域调查，概述了迄今为止的关键问题、方法和发现，并突出了需要进一步研究和发展的领域。特别是，我们首先研究数据污染在各个阶段和形式下的影响。然后，我们提供了对当前污染检测方法的详细分析，将它们分类以突出它们的重点、假设、优势和局限性。我们还讨论了缓解策略，为未来的研究提供了明确的指南。这份调查是关于数据污染研究最新进展的简明概述，为未来的研究提供了简单明了的指南。

数据污染在大型语言模型中的影响和解决方案

本文提供了一个全面的调查，从基础概念到高级见解，介绍了数据污染的关键问题、方法和研究结果，并强调了需要进一步研究和发展的领域。

本文首先探讨了数据污染在不同阶段和形式下的影响，然后提供了对当前污染检测方法的详细分析，包括它们的重点、假设、优点和局限性。此外，本文讨论了缓解策略，为未来的研究提供了明确的指南。

最近的相关研究主要集中在检测和缓解数据污染方面。例如，“The Impact of Data Contamination on Automatic Text Classification”和“Mitigating Unintended Bias in Data-Driven Text Classification”等论文。