Max Tegmark：人类正在辜负新技术的挑战

Tegmark的乐观情绪变成了恐慌。“我真的希望人类能胜任管理这项工作的任务，”他说，并指出了他所谓的科技公司之间的“危险竞赛”，以构建和发布我们尚未理解、尚未监管且可能很快无法控制的系统。

56岁的Tegmark在波士顿郊外的家中解释说，有一天，人工智能可能会像人类一样擅长完成所有智力任务，能够自己学习——这种现象被称为人工智能，现在有人预测，几年后就会有一段时间。一旦发生这种情况，该技术将能够不断改进自己，超越我们自己的思考和行动能力。如果这些系统制定的优先事项与我们自己的不一致，它们可能会对人类构成生存威胁。

Tegmark说：“自从20世纪50年代创造人工智能一词以来，该领域的领导者显然认为，如果我们成功地接近人类层面的人工智能，我们很可能会面临巨大的风险，比如灭绝，但人们一直认为这真的很遥远。”“新事物不是这个想法。就是这样，神圣的鳄梨酱，它正在发生，我们没有像我们想象的那样多的时间来做安全部分。”

3月，Tegmark的Future of Life研究所率先写了一封公开信，呼吁暂停培训最强大的人工智能系统，直到研究人员采用一套共同的安全标准。“我们是否应该培养出最终可能超过、智胜、过时并取代我们的非人类思想？”信问道。其33,000名签署人包括Elon Musk、苹果联合创始人Steve Wozniak和计算机科学家Yoshua Bengio，他因在人工智能方面的开创性工作而获得图灵奖。

Tegmark承认，他没想到这封信实际上会停止先进的人工智能工作，但他认为这有助于促进关于人工智能危险的更广泛对话。“在此之前，在某些圈子里，甚至建议暂停都是禁忌。人们可能会称你为制造恐慌的卢德派，”他说。他指出，科技领导者通常会私下承认，他们担心人工智能风险，但感到真正的商业压力，需要比竞争对手更快地创新。

在成为AI Cassandra之前，Tegmark主要思考宇宙。他说：“我总是对大问题着迷，越大越好。”在瑞典长大——他的母亲是一名瑞典心理学家，他的父亲是一名美国数学家，他移民部分是为了抗议越南战争——他热爱科学并写了一些电脑游戏，但在大学里，他追求经济学，认为这会让他产生更大的社会影响。然而，当他在斯德哥尔摩经济学院获得学士学位时，他的幻想破灭了：“我意识到经济学家发表了所有这些好的想法，而政客们只是听了那些说他们想听的话的人。”

Tegmark当时的女朋友正在学习物理学，这似乎更有趣，就像“终极智力冒险”。他换了齿轮，于1994年在伯克利获得博士学位，然后在普林斯顿、宾夕法尼亚大学和麻省理工学院的“宇宙学狂野西部”度过了25年，2004年他在那里加入教师队伍。他的姓氏夏皮罗在斯德哥尔摩很不寻常，但在美国学术界很常见，所以他采用了母亲的娘家姓，以避免与其他物理学家混淆。当他在20世纪90年代开始推测多元宇宙的理论时，这个概念经常被斥为疯子，但现在它相当主流。他说：“我认为许多人刚刚习惯于我们的宇宙比我们想象的要奇怪一点的想法。”

同样，当Tegmark于2014年共同创立生命未来研究所时，很少有人对人工智能的陷阱进行警告，其使命是帮助最大限度地提高技术效益并最大限度地降低其风险。“这有点像1954年的肺癌和吸烟辩论。你甚至不能在不被视为怪人的情况下谈论它，”他说。Tegmark通过表达他对人工智能放大人类智能潜力的普遍乐观态度，吸引来自学术界和工业界的人工智能领导人参加他的会议。自那以后，这些希望已经钩钎了：“我很沮丧，不仅仅是因为我担心风险，还因为我们也在挥霍了本来可以拥有的所有好处。”

Tegmark还直言不讳地批评人工智能已经扮演的许多角色，从无人机战到在线新闻媒体。“算法不关心准确性或细微差别。他们接受过最大化参与度的培训，”他说。“结果是，不仅在国家内部，而且在国家之间，仇恨越来越多。”令他烦恼的是，立法者“对他们应该监管的公司如此友好”，甚至向科技首席执行官寻求管理行业的建议。

他建议为人工智能建立类似于食品和药物管理局的东西，这将迫使公司在向公众发布产品之前证明其产品是安全的。Tegmark警告说，Meta和微软等科技公司发布其人工智能模型的源代码是“鲁莽的”：“这就像给一群孩子一些手榴弹和链锯，希望他们不会使用它们。”他指出，2022年发表在《自然机器智能》杂志上的一项研究发现，一个人工智能模型能够在不到六小时内发明4万个潜在致命分子。

对于Tegmark来说，更安全的人工智能运动感觉很个人化。除了他第一次婚姻的两个成年孩子外，他现在和他现在的妻子Meia Chita-Tegmark有一个小儿子：“我看着他的眼睛，想，他将如何谋生？他上学有什么意义？”他想知道如何在一个人工智能可能破坏人类生活的目的甚至可能性的世界里抚养孩子。“为什么我们成年人如此鲁莽？”他问。“当未来如此美好时，我们为什么要这样危及未来？”