科学家和出版专家担心，聊天机器人日益复杂可能会破坏研究的完整性和准确性。根据12月底在bioRxiv服务器上发布的一篇预印本，chatGPT可以写出如此有说服力的假研究论文摘要，以至于科学家们常常无法发现它们。研究人员对其对科学的影响存在分歧。
自其发布以来，研究人员一直在努力解决围绕其使用的伦理问题，因为其输出的许多内容可能难以与人类书写的文本区分开。科学家们已经发表了一篇预印本和一篇ChatGPT撰写的社论。
伊利诺斯州西北大学Catherine Gao领导的一个小组已经开展了一项研究：使用ChatGPT生成研究论文摘要，以测试科学家是否能发现它们。
研究人员要求聊天机器人根据发表在《美国医学会杂志》、《新英格兰医学杂志》、《英国医学杂志》、《柳叶刀》和《自然医学》上的精选文章编写50份医学研究摘要。然后，他们通过抄袭检测器和人工智能输出检测器将这些摘要与原始摘要进行比较，并要求一组医学研究人员发现编造的摘要。
ChatGPT生成的摘要100%顺利通过了抄袭检查器，机器完全没有发现抄袭行为。人工智能输出检测器发现了66%的生成摘要。但是人类审稿人的表现并没有好到哪里去：他们只正确识别了68%的生成摘要和86%的真实摘要。他们错误地识别了32%的生成的摘要是真实的，14%的真实摘要是生成的。
"ChatGPT写出了可信的科学摘要，"Gao及其同事在预印本中说。"道德和可接受的使用大型语言模型来帮助科学写作的界限仍有待确定"。
Wachter说，如果科学家无法确定研究是否真实，可能会产生“可怕的后果”。除了对研究人员来说有问题，他们可能会被拉下有缺陷的调查路线，因为他们正在阅读的研究是捏造的，而且“对整个社会都有影响，因为科学研究在我们的社会中发挥着如此巨大的作用”。例如，她补充说，这可能意味着研究知情的政策决定是不正确的。
但是新泽西州普林斯顿大学的计算机科学家Arvind Narayanan说："任何严肃的科学家都不太可能使用ChatGPT来生成摘要。" 他补充说，生成的摘要是否能被检测出来 "无关紧要"。"问题是这个工具是否能生成一个准确和令人信服的摘要。他说："它不能，所以使用ChatGPT的好处是微不足道的，而坏处是很大的。
总部设在纽约和巴黎的人工智能公司Hugging Face研究人工智能的社会影响的Irene Solaiman对任何依赖大型语言模型的科学思维表示担忧。"她补充说："这些模型是根据过去的信息训练出来的，而社会和科学的进步往往可以来自于与过去不同的思考方式，或开放的思考方式。
作者建议，那些评估科学传播的机构，如研究论文和会议记录，应该制定政策，杜绝使用人工智能生成的文本。如果机构选择允许在某些情况下使用该技术，他们应该围绕披露问题制定明确的规则。本月早些时候，将于7月在夏威夷檀香山举行的大型人工智能会议--第四十届国际机器学习会议宣布，它已禁止使用ChatGPT和其他人工智能语言工具撰写论文。
Solaiman补充说，在虚假信息可能危及人们安全的领域，如医学领域，期刊可能不得不采取更严格的方法来验证信息是否准确。
Narayanan说，这些问题的解决方案不应该关注聊天机器人本身，“而应该关注导致这种行为的不正当激励措施，例如大学通过计算论文来进行招聘和晋升审查，而不考虑其质量或影响”。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢