活动回顾｜7月6日安远AI x 机器之心系列讲座第2期｜麻省理工教授Max Tegmark分享「人类与AI的共生演化 」

PPT+讲稿

复制此链接使用浏览器打开查看英文讲稿: https://eyf4oslfny.feishu.cn/docx/doxcnCMqjfLsmsH6Fyl57WjzAsg。为了清晰起见，主办方翻译并略微编辑了讲稿。

研究表明，用人工智能纠正医疗系统中出现的错误和改进诊断将帮助我们拯救更多的生命。

人工智能已经在诊断前列腺癌、肺癌和许多眼病方面与最优秀的人类不相上下。

不过，波音飞机坠毁导致人员死亡，并不是因为自动化系统中的人工智能是邪恶的，这只是一个非常简单的系统，是这些公司对其工作原理了解不够。

我将讨论使人工智能更安全的研究的重要性，特别是研究通过让我们更容易理解它们的运作方式来让我们愿意信任它，不是因为向我们推销它的人让我们信任它，而是因为它值得我们的信任。

人们还担心其他问题，例如，人类在这个星球上比狮子更强大，不是因为我们有更强壮的肌肉或更锋利的牙齿，而是因为我们更聪明。

很多人担心，如果有一天我们让人工智能变得比我们聪明得多，也许我们会失去对它的控制，就像狮子失去对地球的控制一样。

你从所有这些原则中能尤其注意到的一点是，在我们可以用人工智能做的所有事情中，我们必须在我们认为可以接受的大多数事情和少数我们不可接受的事情之间画一条清晰的红线。

我在麻省理工学院的研究正是集中在这一点上。今天，人工智能的大部分进展来自于构建我们难以理解的、越来越大的模型：一个巨大的黑箱。简单地来说，你输入大量数据并对其进行训练，然后它就会做一些很智能的事情。如果一家公司把这个模型推销给你，他们会告诉你，你永远可以信任它。凭什么？我要鼓励大家，我们应该看得更远，并意识到这只是第一步，而不是最后一步。在建立了一个强大的人工智能模型并用大量数据进行训练之后，一个很有意义的环节是尝试将模型学会的知识提炼出来，并将其放入一个更安全、更值得信赖的系统中。这正是我们人类一直所做的。我一开始给你们播放了神舟五号的发射视频。建造一枚火箭的时候，你需要确信它会飞到中国的空间站，而不是掉在上海市中心。

我们凭什么确信它会？并不是因为科学家和工程师反复试验，发射了很多枚火箭，然后发现有的飞得太偏西，有的太偏东，最终经过调整，才有一枚火箭到达了正确的地方。不。经过无数个世纪，我们人类对事物在空间中的运动逐渐形成了很强的直觉。如果你在400年前去找一位像克卜勒（Johannes Kepler）这样的伟大科学家向他扔东西，他甚至在还是个四岁小孩的时候就能够抓住它，因为他的大脑已经接受了大量数据的“训练”，他已经明白物体在重力的影响下是如何移动的。

如果你有一只狗，你可以向它扔一个球，它会预测球将如何移动，并且抓住它。这是当今大多数机器学习的状态，它可以完成这项任务，但我们不知道它是如何完成的，就像你不知道你的大脑如何判断球会飞到哪里一样。你只知道它就是能做到。

但像克卜勒这样的科学家并没有就此止步，他们继续思考如何更好地理解这一切。他们意识到：等等，这个形状，这是一条抛物线，我可以写出y等于x平方的数学方程，我可以把这一切告诉我的朋友。我可以从我不太了解的大脑中提取这些知识，然后将整个重力模型编程到一台计算机中，例如写在一枚中国的火箭中，这样我就能确信它将能够精准地飞到国际空间站。

我们人类首先发现一些现象，并通过大脑的神经网络理解它。我们不知道知识是如何储存在我们的大脑中的，不知道我们的大脑是如何工作的，但我们还是能提取知识并将其提炼成一种符号语言，如中文、英文或数学。

这使我们可以交流知识，然后用可靠的、我们能够信任的方式使用知识。我们在麻省理工学院的实验室里一直在再现这件事。我们首先制作一个神经网络，在大量数据上训练它，让它学习一些智能的东西，然后我们试图从这个模型中提取类似“知识”的数据。这是一个悬而未决的问题，如果观众中有人对这些事情感兴趣，我愿意与他们合作。我很鼓励你们在这方面做更多工作。

我接下来想向你们展示我的研究团队迄今为止取得的一些进展，让你们相信这不是不可能做到的。

假设我给你一个数据表，最后一列是一些函数，其数值取决于前三列，但你不知道公式是什么。我们的任务是让机器学习通过前三列列的数据预测最后一列。用术语说就是我们需要预测一个线性函数。你只需要取前三列中的每一列，乘以某个数，然后求和。这是一个非常简单的问题，我们可以很快解决，它被称为线性回归。但是，发现任意符号公式的问题则被认为是极其困难的，通常需要比我们宇宙的年龄更长的时间才能解出，因为给定长度的公式的数量是长度的指数级多。

你可以在讲座结束后来问我它具体是如何工作的，但简单地来说我们首先训练一个神经网络，然后进行一些额外的自动学习。对于模型发现的每一个公式，我们都会衡量它预测的数据的准确性。它越不精确，相应的数据点在图上位置就越高。我们也会测量这些公式有多复杂，越复杂的公式在图上越靠右。

你们可以看到最右边的这个公式，这是爱因斯坦发现的公式，描述当物体快速运动时它的动能有多大。而你会发现中间这里还有一个更简单的公式，虽然不那么精确，但也不错。它说动能是质量乘以速度的平方除以2。这正是你们中的一些人可能在高中之前就学过的公式，在爱因斯坦发现更好的公式之前，牛顿曾经认为这个公式是正确的。计算机不仅发现了非常精确的公式，而且还发现了我们认为非常有用的更简单的近似公式。

这些只是几个例子，用来说明有可能制造出比如今存在的系统更能让人信任的系统。这并不是因为制造它们并将其推销给你的人告诉你它们能够信任，而是因为你可以将你不理解的系统转换成一个更简单的系统，它同样强大，但却是你可以理解的。

在最后5-10分钟里我想谈谈这个火箭比喻的第三部分。我们已经谈到了人工智能的力量是如何不断增长的。我们讨论了正是因此，学习如何操纵这枚火箭是如此重要。我告诉了你们其中一种方法就是弄清楚它的内部实际上是如何工作的，并将其转化为同样智能但更简单的解决方案。

如果我们回到什么是智能的定义上来，问人工智能会发展到什么程度，我喜欢把我们可能需要面对的不同任务想象成这样一处风景。“海拔”显示了计算机完成相应任务的难度，而“海平面”代表当今计算机可以完成的任务。

随着技术的进步，海平面明显上升，那么会发生什么呢？一个明显的信号是，你应该小心那些在“海滨”的职业，因为它们很快就会被人工智能扰乱。

如果我们做到这一点，那么可能会发生更壮观的事情，那就是超级智能，如果机器可以更好地完成所有工作，包括开发人工智能，那么未来的人工智能开发可以走得更快。下一代人工智能可以在机器的、也就是数月或数周的时间尺度上发生，而不是在人类平均研发时间、也就是数年的尺度上发生。

这都是猜测，但这也是一种我们需要认真对待的可能性，因为如果发生这种情况，我们人类可能会完全失去对技术发展的控制。

我认为在做如此鲁莽的事情之前，我们真的需要认真考虑安全问题。

那么实际会发生什么？当然，我们不知道。这一切还存在很大的争议。包括我的前麻省理工学院同事罗德尼·布鲁克斯（Rodney Brooks）在内的一些人说，这种情景在数百年内不会成为现实。包括黛米斯·哈萨比斯（Demis Hassabis）在内的一些人认为这会很快成为现实，并正在为之努力。黛米斯·哈萨比斯是西方最好的人工智能公司：谷歌DeepMind的联合创始人。

最近对人工智能研究人员的调查表明，他们大多数认为我们将在几十年内，也许40、50年后获得通用人工智能，也就是我们中大多数人的有生之年。所以现在开始考虑这个问题并不为时过早，尤其是因为我们可能需要30年的时间才能找到安全的方法。所以我们需要现在就开始研究安全，而不是在AGI到来的前一天晚上。

那么，这一全球共同的积极愿景是什么？这是我们需要谈谈的。

我提到的关于“引导”的阿西洛马（Asilomar）原则的最后一条是：超级智能的开发只应用于造福全人类。

我想以一点个人反思作为结束。我是一个瑞典人。瑞典有过很多战争。例如，很多年来，我们与丹麦发生了很多战争，每一次都无比麻烦。但在二战之后，我们决定尝试一些不同的东西。我们非常努力地为我们能用越来越好的技术做些什么制定了更为积极的愿景。

可以用这项技术来帮助每个人。建立一些人们可以免费上的学校，为每个人提供医疗保健，为每个人提供退休金，等等。

许多人说：“哦，你们瑞典人太疯狂了，这永远不会奏效。”但它确实奏效了。这些点子甚至开始在世界上传播得越来越广。它成为了全世界共同的积极愿景。

主持人：

在我们的听众中，很多人都读过您的书《生命3.0》，第一个问题是关于您在演讲中提到的超级智能和AGI。问题如下：人类发展超级智能的目的或意义是什么，谁将是最终的受益者？

Max:

我认为如果最终受益者不是我们人类，那么我们为什么要建造它？我们为什么要建造那些只会让事情变得更糟的东西？我们是否要建造超级智能是我们的选择，而我更希望我们能够做出要建造它的选择。把这个问题反过来，与其问谁将是最终的受益者，我想探索我们如何才能建造超级智能，使人类是最终受益者？因为你可以有不止一种方式来建造它。

我还应该澄清一下什么是智能。我在刚才的讲话中把智能定义为完成目标的能力，但我没有定义过你可以输入什么目标。至关重要的是，我们能够精准定义人工智能中的目标，使得我们是受益者。

主持人：

第二个问题其实和您说的有关，为人工智能设定目标。目标规范问题一直是构建人工智能的问题之一。退一步讲，您认为实现安全的AGI的最大挑战是什么？

Max:

好问题。我已经提到了其中之一。我认为你必须摆脱目前最流行的那种系统，它非常智能，但你不知道它是如何工作的。你刚刚提到的“目标”又牵涉到另一个问题。对于今天几乎所有的人工智能系统，我们只是告诉它们目标是什么，然后它们尽可能地达成这个目标。

例如，我们谈到的这些大型语言模型，被赋予了一个非常简单的目标。他们阅读大量的文本，目标只是预测下一个词。不幸的是，人们发现，如果你给一个系统几乎任何足够开放的目标，它就会变得越来越聪明，它将杀死我们。

比如说，如果你告诉一个人工智能系统，“嘿，去尽可能精确地计算圆周率数字”。如果计算圆周率是你给它的唯一目标，这似乎非常无害。但它不会希望你把它关掉，所以它会保护自己。如果它认为你要试图关闭它，也许它会先攻击你。然后我们会发现，它需要更多的资源来实现目标，所以也许最终它会说：“嘿，你身体里的原子不错，我需要它们。”

因此，已经有很多精彩的见解阐述了我们应该怎样改变这种目标设定体系。斯图尔特-拉塞尔教授(Prof. Stuart Russell)有一本非常好的书，他在书中非常详细地谈到了这一点。对于这里的懂技术的观众来说，逆强化学习（Inverse Reinforcement Learning）是一种方法。我想说这仍然是一个开放的问题，但非常清楚的是，在我们让机器负责人类生活并给予它们太多权力之前，我们必须完全改变我们对目标的思考方式。

这与另一个问题有关。在今天，你知道你的笔记本电脑有什么目标并不重要，因为你可以随时把它关掉。但是当我们把人工智能系统架设在现实世界中时，就不再那么容易把它们关掉了。例如，如果你在一架飞机上，被一枚寻热导弹追赶，你不喜欢这枚寻热导弹的目标。而如果你说你不担心，你只需要把它关掉，那我只能祝你好运。

我认为一个更好的策略是，与其试图对抗那些与我们目标不一致的机器，监禁它们，框住它们，或者像奴隶一样对待它们，不如首先尝试确保机器与我们的目标一致，这样我们就可以与它们建立和谐的关系。

我们这里所有的人都曾经和比我们更聪明的人生活在一起：我们的爸爸妈妈。我们相处融洽，因为他们的目标和我们的目标是一致的。所以这些也是非常技术性的问题。你如何让机器理解我们的目标，你如何让它们采用我们的目标，你如何让它们在变得更聪明时保留它们的目标。

主持人：

谢谢您的回答。您在演讲中提到，可解释的人工智能或人工智能模型的可解释性是人工智能安全的一个重要部分。我们的观众对您提出的超越黑箱的概念相当感兴趣。您认为可解释的人工智能的未来是什么？对您来说，成功的场景是什么？我们在5年或10年内终于超越了黑箱的未来，看起来是什么样子的？

Max:

好问题。在这个答案中，我将说得更技术性一点。我们从阿兰·图灵那里知道，有许多不同的方法可以进行通用计算。你可以用神经网络来做，你可以用Python、C++或任何其他语言编程来做。它们或多或少是相同的东西。在我看来，神经网络在机器学习中如此受欢迎的原因，并不是因为它们比编程语言如Python等更适合计算。你也可以用其他语言做高度并行的计算。但是（神经网络之所以受欢迎）是因为它们在学习方面更好。

如果你在计算机程序中写下了什么是好的行为的一些想法，你不能直接随意改变代码中的字符，看看是让它变得更好还是更糟，因为你只会得到语法错误，程序根本无法运行。神经网络——作为如今大多数机器学习中用到的技术——的神奇之处在于，其程序本身实际上只是一个参数的列表。你可以把神经网络想象成一个黑箱，数据进去，数据出来。在这个黑箱里发生的事情，可以说是 "程序"，是一堆你可以调整的旋钮。

如果你想让这个黑箱变得非常好，例如，在对图片进行分类时（这是一只猫还是一只狗？），那么你可以通过它的正确程度来定义什么是好的行为，然后你可以依此不断调节这些旋钮。无论怎么调节，它仍然是一个有效的程序，所以你可以找出你应该调节旋钮（也就是参数）的方向，使它变得更好。因此，总结一下，神经网络最大的力量不在于它们的计算能力，而是学习能力。

所以我的设想是，在未来的5年10年里，我们将继续使用神经网络来学习。但随后我们可以提取这些学习到的知识，然后我们把它放在Python或其他一些编程语言中，这样我们就可以更好地理解实际发生的事情。理想状态下，我们甚至可以证明关于它的定理。在自动理论方面有很多进展，你可以尝试证明什么会发生、什么不会发生的界限。但是，我信任一个比我自己聪明得多的机器的唯一方法是我能证明它，因为不管它有多聪明，它都不可能做到理论上不可能的事。

主持人：

有一些观众是不懂技术的，我非常喜欢他们的问题。人文学科、艺术或社会科学的学生可以做什么来为人工智能的未来做出独特的贡献？您对非技术专业的学生在探索人工智能的职业道路方面有什么建议吗？

Max：

是的，我有建议。请记住，我谈到了制定一个目标、一个全球性的、共同的积极愿景的重要性。非技术专业的学生都可以做出巨大的贡献，弄清楚什么样的社会最终能让人们幸福和谐。这不是一个计算机科学家有任何特殊专长的问题。我们需要来自人文学科的人、心理学家、经济学家、社会学家，各行各业的人，来真正认真思考我们希望用人工智能创造的未来社会。我真的认为这是一个非常被忽视的东西。到目前为止，这些决定大多只是由技术领域的人做出的，而我们对未来的思考大多是悲观的，事实并非如此。

经常有学生到我在麻省理工学院的办公室来询问职业建议。我总是先问你10年后想在哪里发展？如果她只能说“哦，也许我会被谋杀或死于癌症”，这就是一个糟糕的职业规划策略！如果你只是考虑到所有可能发生的事情，那么你的职业规划就会很糟糕。如果你只是想所有可能出错的事情，你只会变成一个偏执的多疑症患者。这甚至不会增加你的成功机会。相反，我希望学生来的时候眼睛里充满了火焰，告诉我：“这就是我想做的职业！”然后我们可以讨论必须避免的阻力，以达到目的。

现在，这个假想的、悲观的学生似乎很傻，但你去看电影，我最近看到的大多数关于未来的电影都是反乌托邦式的；或者看新闻，它几乎总是坏的和消极的，至少在西方国家是这样。

我认为今天正在听这场讲座的非技术背景的人，现在就是一个很好的机会，你们可以写一些积极的科幻故事，制作一些关于未来的电影，让人们感到兴奋和鼓舞，给人们一些引导。这就是为什么我提到瑞典的例子，他们有这样一个福利社会的愿景，人们生活在和谐和繁荣之中。当然，现代中国也在很大程度上建立在这个想法上，即你应该建立一个每个人都能繁荣发展的国家

我认为这（人工智能）是将这个雄心壮志提高到更高水平的机会，因为有了这种技术，我们应该能够完成远远超过我们祖先梦想的美妙事情。所以这是我给大家的作业，尤其是那些非技术背景的人，多想想几十年后，有了先进的人工智能，你希望有一个什么样的未来。

主持人：

我也被您描述的共同的积极的未来所启发！下一个问题也与积极的愿景有关。各国在发展人工智能方面有着不同的环境和背景。我们如何才能促进合作，实现安全可靠的人工智能？

Max：

精彩的问题！我们需要更多这方面的好主意。我们今天在这里所做的是朝着正确的方向迈出的非常小的一步，让研究和从事这些事情的人更多地相互交流，更多地相互接触。这就是为什么我们邀请了很多中国的人工智能研究人员参加我们的会议，这对我来说非常重要。这也就是为什么当我在中国旅行时，我也觉得非常有趣。尽管你提到国家之间有很多差异，但我认为，当你深入到普通人，差异要小得多。也许人们对他们最喜欢的食物的偏好略有不同，但如果你问到人们真正关心的是什么，通常是完全相同的事情。人们希望拥有繁荣，他们希望与他们所爱的人在一起，拥有和平，做着有趣的事情。

我认为可持续发展目标是一个很好的开始，因为它们都在谈论这些人们认同的或全世界共享的个人需求。这些可持续发展目标都与权力之类的东西没有太大的关系。

如果我们能够围绕可持续发展目标开始有更多的合作，我认为会产生效果，并促进不同国家之间更多的人员、科学家和想法的交流，我认为这是在正确方向上迈出的良好一步。

我在一所大学里工作，在那里有来自世界各地不同国家的人。我的研究生中，有一半是来自中国。当我去工作时，我经常觉得，如果世界上所有地方的人都能像科学家那样彼此相处得很好，那就太好了。

举个例子，如果我们能让科学家和艺术家以及许多其他团体在所有这些可持续发展目标上一起工作，我认为会达到帮助其他人也相处得更好的效果。

主持人：

我注意到时间快到了，所以我们只问最后一个问题。可信赖的人工智能究竟是什么意思？

Max：

好问题。我会给出一个简短的答案，然后再给出一些细节。简短的回答是，可信赖的智能就像说你信任你的朋友。当你说你信任你的朋友时，你可以要求你的朋友做一些事情，他们会做你希望他们做的事情，而不是相反。

如果你信任你的律师，这意味着他们将真正为你的利益工作，而不是把你的信息卖给对面的人。我们可以用这些人类的信任观念，类比我们如何以同样的方式使机器值得信任。

我提到了第一个例子：通过理解来达到信任。我们之所以信任我们的火箭，是因为我们了解它们的导航系统，以及这一切是如何运作的。我还希望看到更多关注忠诚的人工智能（Loyal Artificial Intelligence）这个概念，你可以证明你使用的这个软件对你这个用户是忠诚的，而不是对卖给你这个软件的公司。例如，如果我开车时用我的手机为我导航，而我注意到每次我想去哪里，它总是在晚餐时间前后驶过相同的餐馆，我就会开始怀疑，也许实际上有人向公司付了钱，以便他们能让我买他们的东西。

我认为这对从事法律、政策和经济工作的人来说是一个有趣的问题。当你购买一个产品时，你能不能有一个认证系统，证明它是否真的会对你忠诚，而不是对卖给你的公司忠诚？我想大多数人都会乐意为一些东西多付一点钱，如果他们能以这种方式信任它。

实际上，我很高兴看到中国最近通过了一项新的法律来保障用户数据的更多隐私。在此基础上，你可以想象有某种信任认证系统，这样如果你有一个人工智能助理，或者如果你有一个人工智能法律顾问，你可以确信它只会对你忠诚。

但我们同时谈了很多不同的如果我们用人工智能做愚蠢的事情可能导致的后果。我认为重要的是要记住有多少积极的机会。毕竟，人工智能是一种技术，可以用于做好事或坏事。火，刀，也是可以用来做好事或坏事的技术。这其实并不新鲜。不同的只是，人工智能是如此强大，以至于它最终可能会杀死我们，但其积极面甚至比其他任何技术都要大得多。

如果我们想想今天的中国，想想今天的世界；我们喜欢的关于文明的一切都是人类智慧的产物。很明显，如果我们能用人工智能放大我们的智慧，并明智地使用人工智能，解决所有这些迄今为止困扰我们的问题，我们就有机会为世界上所有的人创造一个惊人地鼓舞人心的未来，我们可以帮助生命在地球上和整个宇宙的大部分地区繁荣发展数亿年。对我来说，这是非常鼓舞人心和激励人心的。我们大家越是一起努力，我们就越有机会获得这个鼓舞人心的未来，所以我非常感谢你们今天来参加。

延伸阅读链接：

[1]https://futureoflife.org/2017/05/15/ai-principles-chinese/

[2]https://www.baai.ac.cn/portal/article/index/type/center_result/id/110.html