本文是futureoflife公开信

原文地址https://futureoflife.org/open-letter/pause-giant-ai-experiments/ 

数千名科技界专家联合签署了一份由生命未来研究所(Future of Life)发起的“暂停巨型人工智能实验”的公开信。响应名单包括特斯拉和推特的首席执行官埃隆·马斯克 (Elon Musk) 、苹果联合创始人斯蒂夫·沃兹尼亚克 (Stephen Wozniak) 、蒙特利尔学习算法研究所所长约书亚·本吉奥 (Yoshua Bengio) 等业界大佬。

这封公开信呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练,暂停时间至少为6个月,并建议如果不暂停,应该政府强制暂停。

在经历了9个月指数级进步后,人工智能行业选择主动刹车,或许并非是因为它已经创造了社会矛盾,而是它在商业化普及后可能会带来的更大未知。

该公开信签名的发起方,生命未来研究所(Future of Life Institute,FLI)是一家位于美国波士顿地区的研究与推广机构,创立于2014年3月,以“引导变革性技术造福生活,远离极端的大规模风险”为使命。FLI致力于降低人类所面临的风险,目前主要关注人工智能、生物技术、核武器以及气候变化这四个议题。

该机构创始人包含麻省理工学院宇宙学家马克斯·泰格马克,Skype联合创始人让·塔林,哈佛大学博士生维多利亚·克拉科夫那(Viktoriya Krakovna),波士顿大学博士生、泰格马克之妻美雅·赤塔-泰格马克(Meia Chita-Tegmark)与加州大学圣克鲁兹分校宇宙学家安东尼·阿吉雷等。

生命未来研究所在对该项管理框架反馈中强调:在人工智能技术介入后,信息提供者与信息接收者的新利益冲突。他们认为通过人工智能技术,信息提供者有更大的机会和动机,以操纵信息接受者行为。同时其在该份反馈中也明确表达了人工智能监管缺乏风险预警的方法论。

值得一提的是,提交公开信签名需要经过人工审核,但这次的签署人中短暂地出现了Open AI首席执行官山姆·阿尔特曼 (Sam Altman) 的名字,后来又很快被移除。本周也有消息传出,GPT-5已经完成研发。山姆·阿尔特曼本人也并未对此事发表任何看法。

 

 

以下为官网正文:

本文提出呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练,而且至少要暂停6个月。

正如广泛的研究和顶级人工智能实验室所承认的那样,具有人类竞争智能的人工智能系统可能对社会和人类构成深刻的风险。正如被广泛认可的Asilomar人工智能原则所指出的那样,高级人工智能可能代表着地球上生命历史的深刻变化,应该以相应的谨慎和资源进行规划和管理。不幸的是,这种水平的规划和管理并没有发生,尽管最近几个月看到人工智能实验室被锁定在一场失控的竞赛中,开发和部署越来越强大的数字头脑,没有人(甚至他们的创造者)能够理解、预测或可靠地控制。

当代人工智能系统现在在一般任务上变得与人类有竞争力,我们必须问自己: 我们应该让机器在我们的信息渠道中充斥着宣传和不真实吗?我们是否应该把所有的工作都自动化,包括那些有成就感的工作?我们是否应该开发非人类的大脑,使其最终超过我们的数量,胜过我们的智慧,淘汰我们并取代我们?我们是否应该冒着失去对我们文明的控制的风险?这样的决定绝不能委托给未经选举的技术领袖。只有当我们确信强大的人工智能系统的效果是积极的,其风险是可控的,才应该开发。这种信心必须有充分的理由,并随着系统的潜在影响的大小而增加。OpenAI最近关于人工通用智能的声明,指出 「在某些时候,在开始训练未来的系统之前,可能必须得到独立的审查,对于最先进的努力,同意限制用于创建新模型的计算的增长速度」。

因此,我们呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练,至少要暂停6个月。这种暂停应该是公开的、可核查的,并包括所有关键行为者。如果这种暂停不能迅速颁布,政府应该介入并制定一个暂停令。

人工智能实验室和独立专家应利用这一暂停,共同制定和实施一套先进的人工智能设计和开发的共享安全协议,由独立的外部专家进行严格的审计和监督。这些协议应确保遵守这些协议的系统是安全的,没有合理的怀疑。 这并不意味着暂停人工智能的总体发展,只是从危险的竞赛中退后一步,以越来越大的不可预测的黑箱模型为基础,具有突发性的能力。

人工智能的研究和开发应该重新聚焦于使今天强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

同时,人工智能开发者必须与政策制定者合作,大幅加快开发强大的人工智能治理系统。这些至少应该包括:专门针对人工智能的新的和有能力的监管机构;对高能力的人工智能系统和大型计算能力池的监督和跟踪;帮助区分真实和合成并跟踪模型泄漏的来源和水印系统;强大的审计和认证生态系统;对人工智能造成的伤害的责任;对人工智能安全技术研究的强大公共资金;以及资源丰富的机构,以应对人工智能将导致的巨大的经济和政治破坏(特别是对民主)。

人类可以通过人工智能享受一个繁荣的未来。在成功创造出强大的人工智能系统之后,我们现在可以享受一个 「人工智能之夏」,在这个夏天,我们收获了回报,为所有人的明显利益设计这些系统,并给社会一个适应的机会。社会已经暂停了对社会有潜在灾难性影响的其他技术。我们在这里也可以这样做。让我们享受一个漫长的人工智能之夏,而不是在毫无准备的情况下冲进秋天。

部分签署人截图

内容中包含的图片若涉及版权问题,请及时与我们联系删除