Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore

这篇论文中，一个大型语言模型（LLM）生成的文本检测器的有效性在很大程度上取决于可用的大规模训练数据。然而，白盒零样本检测器不需要这些数据，但仍受限于LLM生成文本的源模型的可访问性。因此，本文提出了一种简单而有效的黑盒零样本检测方法，基于这样一个观察：人类写作的文本通常比LLM生成的文本包含更多的语法错误。该方法涉及计算给定文本的语法错误校正分数（GECScore），以区分人类写作和LLM生成的文本。广泛的实验结果表明，我们的方法优于当前最先进的零样本和有监督方法，平均AUROC达到98.7％，并且对于释义和对抗扰动攻击表现出强大的鲁棒性。

本论文旨在提出一种简单但有效的黑盒零样本检测方法，以区分人类撰写的文本和大型语言模型生成的文本。

该方法的关键思路是计算给定文本的语法错误纠正分数（GECScore），以区分人类撰写的文本和大型语言模型生成的文本。

实验结果表明，该方法优于当前最先进的零样本和监督方法，平均AUROC达到98.7％，并且对释义和敌对扰动攻击表现出强大的鲁棒性。

最近的相关研究包括“Zero-shot Learning for Text Classification”和“Adversarial Examples for Evaluating Reading Comprehension Systems”。