斯坦福团队推出DetectGPT，学生用AI写论文要犯难了

GPT-3、PaLM 和 ChatGPT 等大型语言模型（LLM）已经被证明能够针对各种各样的用户查询做出非常流畅的响应，可以生成“令人信服”的有关科学、数学、历史和当前事件以及社会趋势等复杂问题的回答。

尽管这些回答经常充满错误，但这些生成文本的清晰、自然仍然使得 LLM 在某些情况下被用来替代人力，特别是在学生论文写作和新闻撰写方面。

例如，学生可能使用 LLM 来完成书面作业，使得教师无法准确地评估学生的学习情况；而且，由 LLM 撰写且公开发布在新闻网站上的内容，往往存在大量的事实性错误，由于缺少足够的人工审查，也会对新闻读者产生误导。

近日，斯坦福大学研究团队提出了一种名为 DetectGPT 的新方法，旨在成为首批打击高等教育中 LLM 生成文本的工具之一。相关研究论文以“DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature”为题，已发表在预印本网站 arXiv 上。

论文链接：https://arxiv.org/abs/2301.11305

在此次工作中，研究团队基于“LLM 生成的文本通常徘徊（hover around）在模型的对数概率函数的负曲率区域的特定区域周围”这一发现，提出了一种用于判别 LLM 生成文本的新指标，这一方法既不需要训练单独的分类器，也不需要收集真实或生成的段落的数据集。

图｜确定一段文本是否由特定的 LLM 生成。（来源：该论文）