Nature｜ChatGPT应用于科学研究的5个重点问题

对话式人工智能对科学研究来说是一个游戏规则的改变。

2023年2月3日，荷兰阿姆斯特丹大学的多位教授在Nature杂志发表文章ChatGPT: five priorities for research，讨论了科学界应当如何应对ChatGPT。

阅读原文

ChatGPT是一项拥有巨大潜力的颠覆性技术，禁止它是行不通的。重要的是拥抱机会和管理风险。

ChatGPT是一个机器学习系统，由加利福尼亚州旧金山的人工智能公司OpenAI创建，是一系列“大型语言模型（LLM）”中最新、最强大的一个。ChatGPT可以自主地从数据中学习，在对大量的文本数据集进行训练后，可以产生复杂和看似智能的写作。并且是免费的，易于使用，能够不断地学习。

ChatGPT引起了兴奋和争议，也对科学和社会有着深远的影响。研究人员已经使用ChatGPT和其他大型语言模型来撰写论文、总结文献、修改论文，识别研究中的漏洞和编写计算机代码，包括统计分析。很快，这项技术将发展到可以设计实验、撰写和完成手稿，甚至进行同行评审。

对话式人工智能可能会彻底改变研究实践和出版业，带来了机会，也带来了担忧。

一方面，它可以帮助人们流畅地写作、缩短出版时间，然而另一方面，它也可能降低研究的质量和透明度，并从根本上改变人类研究者的自主权。而且，虽然ChatGPT产生的文本令人信服，但往往是错误的，它们的使用会扭曲科学事实，传播错误信息。

作者认为，这种技术的使用是不可避免的，禁止它是行不通的。当务之急是，研究界要参与关于这项潜在的颠覆性技术的影响的讨论。本文概述了五个关键问题。 

LLMs已经发展了多年，但数据集质量和规模的不断增加，以及用人类反馈来校准这些模型的复杂方法，突然使它们比以前强大了许多。LLMs将推动新一代的搜索引擎的发展，能够对复杂的用户问题产生详细和信息丰富的答案。

但是将对话式人工智能用于专门的研究，很可能会引入不准确、偏见和抄袭的问题。

作者向ChatGPT提出了一系列需要深入了解文献的问题和任务，发现它经常产生错误和误导性的文本。

当作者问"有多少抑郁症患者在治疗后会复发"时，它产生了一个过于笼统的文本，认为治疗效果通常是持久的。然而，许多高质量的研究表明，治疗效果会减弱，在治疗完成后的第一年，复发的风险在29%到51%之间。

在另一个例子中，作者要求ChatGPT总结一下作者在JAMA Psychiatry上撰写的关于认知行为疗法（CBT）对焦虑相关疾病的有效性的系统综述。在回答中，ChatGPT夸大了CBT的有效性。

这些错误可能是由于ChatGPT的训练集中没有相关的文章，未能提炼出相关的信息，或者无法区分可信的和不太可信的来源造成的。

使用ChatGPT的研究人员有可能被错误或有偏见的信息所误导，并将其纳入他们的思维和论文中。而且，由于这种技术通常是在没有可靠地引用原始来源或作者的情况下复制文本，使用这种技术的研究人员有可能不知不觉地剽窃了许多未知的文本，甚至可能泄露了自己的想法。研究人员向ChatGPT和其他LLM透露的信息可能会被纳入模型，聊天机器人可以将其提供给其他人，而不承认原始来源。

假设研究人员在工作中使用LLMs，学者们需要保持警惕。专家驱动的事实检查和验证过程将是不可或缺的。高质量的期刊可能需要加入人工验证步骤，甚至禁止某些使用这种技术的应用。因此，强调问责制的重要性将变得更加关键。作者认为，人类应该始终对科学实践负责。

现在已经有工具可以预测一篇文章是来自机器还是人类的可能性。这类工具对于检测是否利用LLMs制造内容可能很有用，但这类检测方法很可能被进化的人工智能技术和巧妙的提示所规避。作者认为，应该研究如何以诚信、透明和诚实的方式使用LLMs，而不是在人工智能聊天机器人和人工智能聊天机器人检测器之间进行徒劳的军备竞赛。

研究论文中的作者贡献声明和致谢应该清楚而具体地说明作者在准备稿件和分析时是否使用了ChatGPT等AI技术，以及使用的程度。他们还应该指出使用了哪些LLMs。这将提醒编辑和审稿人更仔细地审查稿件，以发现潜在的偏见、不准确和不当的来源。同样地，科学期刊在使用LLM方面也应该透明，例如在选择提交的稿件时。

研究机构、出版商和资助者应该采取明确的政策，提高对对话式人工智能在准备所有可能成为出版记录一部分的材料方面的认识，并要求其透明。出版商可以要求作者证明这些政策得到了遵守。

目前，LLM不应成为稿件的作者，因为他们无法对自己的工作负责。但是，研究人员可能越来越难以确定LLMs在其研究中的确切作用。在某些情况下，ChatGPT等技术可能会根据作者的提示生成手稿的重要部分。在未来，LLM可能会被纳入文本处理和编辑工具、搜索引擎和编程工具。因此，它们可能会对科学工作做出贡献，而作者不一定知道其贡献的性质或程度。这违背了今天对作者身份、剽窃和来源的二元定义，即某人要么是作者，要么不是，来源要么被使用，要么没有。政策将不得不进行调整，但完全透明将始终是关键。

由人工智能设计的发明已经引起了对专利法的根本性反思。

在人工智能写作的或辅助的手稿的情况下，研究和法律界也需要弄清楚谁拥有这些文本的权利。是写人工智能系统训练的文本的个人，还是生产人工智能的公司，或者是使用该系统来指导他们写作的科学家？同样，必须考虑和界定作者的定义。

目前，几乎所有最先进的对话式人工智能技术都是少数拥有人工智能开发资源的大科技公司的专有产品。OpenAI主要由微软资助，其他主要科技公司也在竞相发布类似的工具。鉴于少数科技公司在搜索、文字处理和信息获取方面的近乎垄断地位，这引起了相当大的道德担忧。

对研究界来说，最直接的问题之一是缺乏透明度。ChatGPT及其前身的基础训练集和LLMs是不公开的，科技公司可能会隐瞒其对话式人工智能的内部运作。这与透明度和开放科学的趋势背道而驰，也使我们很难发现聊天机器人知识的起源或差距。

为了应对这种不透明性，应该优先开发和实施开源的人工智能技术。

随着学术界的工作量和竞争加剧，使用对话式人工智能的压力也在增加。聊天机器人提供了快速完成任务的机会，从努力完成学位论文的博士生到需要为资助提案进行快速文献综述的研究人员，或者在时间压力下提交分析报告的同行评审员。

在目前与偏见、出处和不准确有关的问题被解决的情况下，这项技术有巨大的潜力。重要的是要研究和推进LLM的有效性和可靠性，以便研究人员知道如何将该技术明智地用于具体的研究实践。

人工智能技术可能会重新平衡学术技能组合。比如，它可能会减少对某些技能的需求，如进行文献搜索的能力。它也可能引入新的技能，如提示工程（设计和制作用于提示对话式人工智能模型的文本的过程）。

如果我们只关心性能，随着人工智能技术的发展，人们的贡献可能会变得更加有限和模糊。在未来，人工智能聊天机器人可能会产生假设、制定方法、创建实验、分析和解释数据，并撰写手稿。代替人类编辑和审稿人，人工智能聊天机器人也可以评估和审查文章。虽然我们离这种情况还有一段距离，但毫无疑问，对话式人工智能技术将越来越多地影响科学出版过程的所有阶段。

鉴于LLM的颠覆性潜力，研究界需要组织一场紧急而广泛的讨论。

作者呼吁立即举办一个关于发展和负责任地使用LLM进行研究的持续国际论坛。利益相关者，包括不同学科的科学家、技术公司、大型研究资助者、科学院、出版商、非政府组织以及隐私和法律专家将参加这个论坛。

作者提出了一个可以在这个论坛上讨论的问题清单，见"供辩论问题"。

LLM可能是一把双刃剑。它们可以帮助创造公平的竞争环境，例如消除语言障碍，使更多的人能够撰写高质量的文章。但是，与大多数创新一样，高收入国家和享有特权的研究人员很可能会迅速找到利用LLM的方法，以加速他们自己的研究并扩大不平等。

重点应该放在拥抱机会和管理风险上。科学界将找到一种方法，从对话式人工智能中获益，而不会失去科学工作中的好奇心、想象力和发现。