Mark My Words: Analyzing and Evaluating Language Model Watermarks

近年来，大型语言模型的能力显著增强，对其误用的担忧也随之增加。在这种情况下，区分机器生成的文本和人工创作的内容的能力变得重要起来。先前的研究提出了许多文本水印方案，这些方案将从系统性评估框架中受益。本研究侧重于文本水印技术，而非图像水印，并提出了一个在不同任务和实际攻击下对它们进行全面评估的基准。我们关注三个主要指标：质量、大小（例如检测水印所需的标记数量）和防篡改性。目前的水印技术已足够部署：Kirchenbauer等人可以在不到100个标记的情况下对Llama2-7B-chat进行水印处理，而且在简单攻击方面具有良好的防篡改性，无论温度如何。我们认为，水印不可区分性要求过于强硬：稍微修改逻辑分布的方案在生成质量上优于其不可区分的对应方案，而且没有明显的损失。我们公开发布了我们的基准。

论文旨在解决文本水印技术的评估问题，提出了一个系统的评估框架，以区分机器生成的文本和人类创作的内容。

论文提出了一种全面的文本水印技术评估基准，包括评估质量、大小和防篡改性能等三个主要指标。作者认为，当前的文本水印技术已经足够好，可以部署使用。

论文公开了他们的评估框架，并且提供了一个基准数据集。作者的实验结果表明，文本水印技术可以在不影响生成质量的情况下进行修改以提高防篡改性能。论文的贡献是提供了一个系统的评估框架，以帮助人们更好地评估文本水印技术。

在相关研究方面，目前已经有许多关于文本水印技术的研究，包括基于语言模型的水印技术、基于词嵌入的水印技术等。其中，Kirchenbauer等人的研究可以在不到100个标记的情况下对Llama2-7B-chat进行水印处理，并且具有良好的防篡改性能。