Delving into ChatGPT usage in academic writing through excess vocabulary

最近的大型语言模型（LLMs）可以生成和修订具有人类水平表现的文本，并已广泛商业化应用于像ChatGPT这样的系统中。这些模型具有明显的局限性：它们可能会产生不准确的信息，强化现有的偏见，并且很容易被误用。然而，许多科学家一直在使用它们来协助他们的学术写作。目前学术文献中LLM的使用有多普遍？为了回答这个问题，我们采用一个没有任何关于学术LLM使用的假设的公正的大规模方法。我们研究了2010-2024年间14百万篇PubMed摘要中词汇的变化，并展示了LLMs的出现如何导致某些风格词频率的突然增加。我们基于过度词汇使用的分析表明，至少有10%的2024年摘要是使用LLMs处理的。这个下限在学科、国家和期刊之间有所不同，对于一些PubMed子语料库，这个下限高达30%。我们展示了LLM基础写作助手的出现对科学文献产生了前所未有的影响，超过了像Covid大流行这样的重大世界事件的影响。

研究人工智能语言模型在学术写作中的使用情况，以及其在科学文献中的影响。

通过分析 PubMed 文摘中的词汇变化，发现人工智能语言模型的出现导致了某些风格词汇的频率显著增加。根据过量使用的词汇数量，至少有 10% 的 2024 年摘要使用了人工智能语言模型，不同领域、国家和期刊的使用情况存在差异。

本研究使用了一个无偏的、大规模的方法，研究了 2010-2024 年间的 1400 万篇 PubMed 文摘，发现人工智能语言模型的应用在学术写作中具有前所未有的影响。实验结果表明，人工智能语言模型的出现对科学文献的影响超过了 COVID-19 等重大事件的影响。

近年来，人工智能语言模型在自然语言处理领域得到了广泛应用。相关研究包括“GPT-3: Language Models are Few-Shot Learners”（Brown等，2020）、“The GPT-2 chemical synthesis proposal generator”（Schwaller等，2019）等。