Mapping the Increasing Use of LLMs in Scientific Papers

科学出版通过传播研究成果、促进合作、鼓励可重复性，并确保科学知识可访问、可验证并随时间建立，为科学奠定了基础。最近，人们对像ChatGPT这样的大型语言模型（LLM）在学术写作中的使用情况以及这种工具对全球科学实践的影响程度进行了大量猜测。然而，我们缺乏一个精确的衡量LLM实质性修改或制作学术写作比例的方法。为了解决这个问题，我们使用种群级别的统计框架，对2020年1月至2024年2月在arXiv、bioRxiv和Nature出版物组合杂志上发表的950,965篇论文进行了首次系统的大规模分析，以测量LLM修改内容随时间的普遍程度。我们的统计估计在语料库级别上操作，比对个体实例的推断更加稳健。我们的研究结果显示，LLM的使用量稳步增长，计算机科学论文中增长最快，最高可达17.5%。相比之下，数学论文和Nature出版物组合显示出最少的LLM修改（最高可达6.3%）。此外，总体上，我们的分析表明，更高程度的LLM修改与第一作者更频繁发布预印本的论文、更拥挤的研究领域的论文以及更短的论文长度有关。我们的研究结果表明，LLM在科学写作中被广泛使用。

测量大型语言模型在科学写作中的使用率

使用统计学方法对arXiv、bioRxiv和Nature期刊的论文进行大规模分析，发现大型语言模型在科学写作中的使用率逐渐增加，特别是在计算机科学领域，而数学论文和Nature期刊的使用率相对较低。此外，使用大型语言模型的论文更可能由经常发布预印本的第一作者撰写，处于更拥挤的研究领域，长度更短。

论文使用了大规模的数据集进行分析，发现大型语言模型在科学写作中的普及程度逐渐增加。值得注意的是，在计算机科学领域的使用率增长最快。

目前还没有找到类似的研究。