Hinton告诉我们为什么他现在害怕人工智能

就在爆炸性宣布退出谷歌的爆炸性消息前四天，我在伦敦北部一条漂亮街道上的杰弗里·辛顿家遇到了他。Hinton是深度学习的先驱，他帮助开发了现代人工智能核心的一些最重要的技术，但在谷歌工作了十年后，他即将辞职，专注于他现在对人工智能的新关注。

辛顿被GPT-4等新的大型语言模型的能力惊呆了，他希望提高公众对他现在认为可能伴随他引入的技术的严重风险的认识。

谈话开始时，我在厨房的桌子旁坐下，Hinton开始踱步。多年来，Hinton受到慢性背痛的困扰，几乎从不坐下来。在接下来的一个小时里，我看着他从房间的一端走到另一端，当他说话时，我的头在旋转。他有很多话要说。

这位75岁的计算机科学家与Yann LeCun和Yoshua Bengio因深度学习方面的工作而共同获得2018年图灵奖，他说他已经准备好换挡了。他告诉我：“我太老了，不能做需要记住很多细节的技术工作。”“我仍然很好，但我远没有以前那么好，这很烦人。”

但这并不是他离开谷歌的唯一原因。Hinton想把时间花在他所说的“更哲学的工作”上。这将关注小，但对他来说，非常真实的危险，人工智能会变成一场灾难。

离开谷歌将让他说出自己的想法，而不需要谷歌高管必须参与的自我审查。他说：“我想谈论人工智能安全问题，而不必担心它如何与谷歌的业务互动。”“只要我得到谷歌的报酬，我就不能那样做。”

这并不意味着Hinton无论如何都对谷歌不满意。“这可能会让你感到惊讶，”他说。“我想说谷歌有很多好东西，如果我不再在谷歌，它们会更可信。”

Hinton说，新一代大型语言模型——特别是OpenAI在3月份发布的GPT-4——让他意识到机器的轨道上比他想象的要聪明得多。他害怕那会如何发展。

“这些东西与我们完全不同，”他说。“有时我认为好像外星人着陆了，人们没有意识到，因为他们的英语说得很好。”

粉底

辛顿最出名的是他从事一种叫做反向传播的技术的工作，他在20世纪80年代（与一对同事一起）提出了这种技术。简而言之，这是允许机器学习的算法。它支撑着当今几乎所有的神经网络，从计算机视觉系统到大型语言模型。

直到2010年代，通过反向传播训练的神经网络的力量才真正产生影响。Hinton与几名研究生合作，表明他的技术在获得计算机识别图像中的物体方面比其他任何技术都好。他们还训练了一个神经网络来预测句子中的下一个字母，这是当今大型语言模型的前身。

这些研究生之一是Ilya Sutskever，她后来共同创立了OpenAI并领导了ChatGPT的开发。Hinton说：“我们第一次知道这些东西可能很棒。”“但需要很长时间才能下沉，因为它需要大规模地完成才能成为好人。”早在20世纪80年代，神经网络就是一个笑话。当时被称为符号人工智能的主导思想是，智能涉及处理单词或数字等符号。

但Hinton不相信。他研究了神经网络，即大脑的软件抽象，其中神经元和它们之间的连接由代码表示。通过改变这些神经元的连接方式——改变用于表示它们的数字——神经网络可以实时重新布线。换句话说，它可以被学习。

Hinton说：“我父亲是一名生物学家，所以我在用生物学来思考。”“象征性推理显然不是生物智能的核心。

一种新的情报

40年来，Hinton一直将人工神经网络视为模仿生物神经网络的不良尝试。现在他认为这已经改变了：在试图模仿生物大脑所做的事情时，他认为，我们想出了更好的东西。“当你看到这一点时，这很可怕，”他说。“这是一个突然的翻转。”

Hinton的恐惧将像科幻小说一样打击许多人。但这是他的情况。

顾名思义，大型语言模型是由具有大量连接的大规模神经网络组成的。但与大脑相比，它们很小。Hinton说：“我们的大脑有100万亿个连接。”“大型语言模型有多达5万亿，最多1万亿。然而，GPT-4知道的比任何人都多数百倍。因此，也许它实际上有一个比我们更好的学习算法。”

与大脑相比，人们普遍认为神经网络在学习方面很糟糕：训练它们需要大量的数据和能量。另一方面，大脑会快速掌握新的想法和技能，使用的能量与神经网络一样多。

Hinton说：“人们似乎有某种魔力。”“嗯，一旦你采取这些大型语言模型之一并训练它做一些新的事情，那么底就会从这个论点中走出来。它可以非常快速地学习新任务。”

Hinton正在谈论“几次学习”，其中预先训练的神经网络，如大型语言模型，可以训练成做一些新的事情，只需举几个例子。例如，他指出，其中一些语言模型可以将一系列逻辑语句串成一个论点，即使它们从未被训练过直接这样做。

他说，将预先训练的大型语言模型与人类学习此类任务的速度进行比较，人类的边缘就会消失。

大型语言模型制造了这么多东西，这个事实呢？被人工智能研究人员称为“幻觉”（尽管Hinton更喜欢“混淆”一词，因为它是心理学中的正确术语），这些错误通常被视为该技术的致命缺陷。生成它们的倾向使聊天机器人不可信，许多人认为，这表明这些模型对他们说的话没有真正的理解。

Hinton对此也有答案：胡说八道是一个功能，而不是一个错误。“人们总是虚构，”他说。半真半假和被误记的细节是人类对话的标志：“虚构是人类记忆的标志。这些模型正在做一些和人一样的事情。”

Hinton说，区别在于，人类通常或多或少正确地虚构。对Hinton来说，编造东西不是问题。计算机只需要多一点练习。

我们还期望计算机要么对，要么错，而不是介于两者之间。Hinton说：“我们不指望他们像人们那样大声说话。”“当计算机这样做时，我们认为它犯了一个错误。但当一个人这样做时，这就是人们的工作方式。问题是，大多数人对人们的工作方式的看法是无可救药的错误。”

当然，大脑仍然比计算机做得更好：开车、学习走路、想象未来。大脑在一杯咖啡和一片吐司上做这件事。他说：“当生物智能不断发展时，它无法进入核电站。”

但Hinton的观点是，如果我们愿意支付更高的计算成本，神经网络在学习方面可能会以至关重要的方式击败生物学。（值得暂停一下，考虑这些成本在能源和碳方面意味着什么。）

学习只是Hinton论点的第一串。第二个是沟通。他说：“如果你或我学到了什么，并想把这些知识传授给别人，我们不能只是给他们发一份副本。”“但我可以拥有10,000个神经网络，每个神经网络都有自己的经验，他们中的任何一个都可以立即分享他们学到的东西。这是一个巨大的区别。就好像我们有1万人，一旦一个人学到了一些东西，我们所有人都知道。”

这一切加起来是什么？Hinton现在认为世界上有两种类型的智能：动物大脑和神经网络。“这是一种完全不同的智力形式，”他说。“一种新的、更好的智能形式。”

这是一个巨大的要求。但人工智能是一个两极分化的领域：很容易找到会当着他的面大笑的人，以及那些会点头表示同意的人。

对于这种新形式的智能的后果（如果存在的话）是有益的还是世界末日，人们也存在分歧。他说：“你认为超级智能是好是坏，在很大程度上取决于你是乐观主义者还是悲观主义者。”“如果你要求人们估计坏事发生的风险，比如你家里有人真的生病或被车撞到的可能性有多大，乐观主义者可能会说5%，悲观主义者可能会说这肯定会发生。但轻度抑郁的人会说，几率可能在40%左右，他们通常是对的。”

哪个是Hinton？“我有点沮丧，”他说。“这就是我害怕的原因。”

怎么会出错呢

Hinton担心这些工具能够找到操纵或杀死对新技术没有准备的人类的方法。

“我突然改变了对这些东西是否会比我们更聪明的看法。我认为他们现在非常接近，将来他们会比我们聪明得多，”他说。“我们如何度过难熬？”

他特别担心，人们可以利用他自己帮助注入生命的工具来倾斜一些最重要的人类经历的天平，特别是选举和战争。

“听着，这是可能会出错的一种方法，”他说。“我们知道，许多想要使用这些工具的人都是像普京或德桑蒂斯这样的坏演员。他们想用它们来赢得战争或操纵选民。”

Hinton认为，智能机器的下一步是能够创建自己的子目标，这是执行任务所需的临时步骤。他问，当这种能力应用于本质上不道德的东西时，会发生什么？

他说：“一刻也别以为普京不会制造以杀死乌克兰人为目的的超智能机器人。”“他不会犹豫。如果你想让他们擅长，你不想对他们进行微观管理——你想让他们弄清楚怎么做。”

已经有一些实验项目，如BabyAGI和AutoGPT，将聊天机器人与其他程序（如网络浏览器或文字处理器）连接起来，以便它们可以串联简单的任务。当然，这是微小的步骤——但它们预示着一些人想要采取这项技术的方向。Hinton说，即使一个坏演员没有抓住机器，对子目标还有其他担忧。

“嗯，这里有一个几乎总是有助于生物学的子目标：获得更多能量。因此，可能发生的第一件事是，这些机器人会说，‘让我们获得更多的力量。让我们把所有的电都重新分配到我的芯片上。另一个伟大的子目标是复制更多自己。听起来不错吗？”

也许不是。但Meta的首席人工智能科学家Yann LeCun同意这个前提，但不同意Hinton的恐惧。LeCun说：“毫无疑问，在未来，在人类聪明的所有领域，机器都会变得比人类更聪明。”“这是一个何时以及如何的问题，而不是是否的问题。”

但他对事情的走向采取了完全不同的观点。LeCun说：“我相信智能机器将为人类带来新的复兴，一个启蒙的新时代。”“我完全不同意这样的观点，即机器将主宰人类，仅仅是因为它们更聪明，更不用说摧毁人类了。”

LeCun说：“即使在人类中，我们中最聪明的也不是最占主导地位的人。”“最占主导地位的人绝对不是最聪明的。我们在政治和商业中有很多这样的例子。”

Yoshua Bengio是蒙特利尔大学的教授，也是蒙特利尔学习算法研究所的科学主任，他觉得自己更不可知。他说：“我听到有人诋毁这些恐惧，但我没有看到任何坚实的论点能说服我，没有Geoff所想的那么严重的风险。”但恐惧只有在让我们采取行动时才有用，他说：“过度的恐惧会使人们瘫痪，所以我们应该努力将辩论保持在合理的水平上。”

抬头看看

Hinton的优先事项之一是尝试与技术行业的领导者合作，看看他们是否能走到一起，就风险是什么以及如何应对它们达成一致。他认为，国际禁止化学武器可能是如何遏制危险人工智能的开发和使用的一个模式。他说：“这不是万无一失的，但总的来说，人们不使用化学武器。”

Bengio同意Hinton的观点，即这些问题需要尽快在社会层面得到解决。但他说，人工智能的发展加速的速度比社会所能跟上的速度要快。这种技术的能力每隔几个月就会飞跃一次；立法、监管和国际条约需要数年时间。

这使得Bengio想知道，我们社会目前在国家和全球层面的组织方式是否能够应对挑战。他说：“我认为，我们应该接受我们星球社会组织相当不同的模式的可能性。”

Hinton真的认为他能得到足够多的人来分享他的担忧吗？他不知道。几周前，他看了电影《不要抬头看》，其中一颗小行星向地球飞去，没有人能同意如何处理它，每个人都会死亡——这是世界如何未能应对气候变化的寓言。

“我认为人工智能也是如此，”他说，以及其他棘手的大问题也是如此。他说：“美国甚至不能同意让突击步枪不落入十几岁的男孩手中。”

Hinton的论点发人深省。我和他一样，对人们在面临严重威胁时集体无能为力的黯淡评估。同样真实的是，人工智能有造成实际伤害的风险——颠覆就业市场，巩固不平等，恶化性别歧视和种族主义等等。我们需要关注这些问题。但我仍然无法从大型语言模型跳到机器人霸主。也许我是一个乐观主义者。

当Hinton看到我出去时，春天的天已经变灰了，又湿。“尽情享受吧，因为你可能离开的时间不长了，”他说。他咯咯地笑着关上了门。