Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality

随着大型语言模型（LLMs）的广泛应用，人们开始担心其潜在的滥用问题。因此，水印技术已经被应用于LLM，以便简单有效地检测和监测生成的文本。然而，虽然现有的方法可以高精度区分带水印和不带水印的文本，但它们经常面临生成文本质量和水印过程有效性之间的权衡。在本研究中，我们提出了一种新型的LLM水印——稀疏水印，旨在通过将水印应用于文本中分布的一小部分生成标记来缓解这种权衡。关键策略涉及将带水印的标记锚定到具有特定词性标记（POS）的单词上。我们的实验结果表明，所提出的水印方案在实现高检测能力的同时，在各种任务中生成的文本质量优于先前的LLM水印方法。

本论文旨在解决大型语言模型（LLM）水印技术中存在的生成文本质量和水印检测效果之间的平衡问题。

本论文提出了一种新型的LLM水印技术——Sparse Watermark，通过将水印应用于生成文本中分布在一小部分生成标记上的方式，来减轻这种平衡问题。其中的关键策略是将带有特定词性标记的单词作为锚定标记。

实验结果表明，Sparse Watermark方案在保持高检测能力的同时，生成的文本在各种任务上的质量优于先前的LLM水印技术。

在最近的相关研究中，还有一些相关的研究，如：'Text-based Steganography in Neural Language Models'，'Towards Robust and Efficient Watermarking Techniques for Neural Network Models'等。