Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

探测现代大型语言模型生成的文本被认为是困难的，因为LLMs和人类都可以展现出各种复杂的行为。然而，我们发现，基于对比两个密切相关的语言模型的得分，在区分人类生成和机器生成的文本方面非常准确。基于这种机制，我们提出了一种新颖的LLM检测器，只需要使用一对预训练的LLMs进行简单的计算。这种方法被称为Binoculars，可以在不进行任何训练数据的情况下实现最先进的准确性。它能够从现代LLMs的各种文本中发现机器生成的文本，而无需进行任何模型特定的修改。我们全面评估了Binoculars在许多文本来源和不同情况下的表现。在各种文档类型的广泛范围内，Binoculars在误报率为0.01%的情况下，检测出ChatGPT（和其他LLMs）生成的样本超过90%，尽管没有接受任何ChatGPT数据的训练。

论文旨在解决如何区分人工生成的文本和机器生成的文本的问题，而且不需要训练数据。

论文提出了一种新的方法——Binoculars，通过对比两个预训练的语言模型的得分来实现文本检测，该方法能够在不需要任何训练数据的情况下，检测出来自各种现代语言模型的机器生成文本。

论文在多个文本来源和不同情况下全面评估了Binoculars，该方法在误报率为0.01％的情况下，能够检测出ChatGPT（和其他语言模型）生成的样本超过90％，而且没有训练任何ChatGPT数据。该方法的设计简单，实现效果优秀，值得进一步研究。

最近的相关研究主要集中在如何提高语言模型的生成质量和如何检测语言模型生成的文本的质量。例如，GPT-3的研究和其他语言模型的研究。