——读懂 Ilya Sutskever 的最新访谈

过去一年，AI 的热度不断上升，但真正放在公众和行业中心位置的，却仍然是“能力”本身，而不是“安全”。
为什么？难道 AI 安全不重要吗？
OpenAI 联合创始人、前首席科学家 Ilya Sutskever 最近的一次深度访谈，给出了一个直击本质的答案：

“因为现在的 AI 还不够强，人们还无法 感受到 强大的 AI。”

是的，Ilya 的观点很简单：
人类还没有被迫认真对待 AI 安全，而这仅仅是因为——危险还没真正显现。

01

为什么大家都不紧张？因为你还没“感受到”强 AI

Ilya 在访谈中用了一个非常形象的比喻：

“想象你年轻时试图理解自己老到 80 岁的感觉。你可以谈论它，但你无法 感觉 它。”

这句话抓住了一个关键现实：
今天的大模型很厉害，但仍有各种错误、幻觉和不稳定。
它们并没有给普通人带来一种“力量压迫感”，所以大家天然会觉得：

• 还早
• 没事
• 没那么严重
• 可以慢点讨论安全

这导致了一个事实：
AI 安全现在是少数人的担忧，不是全社会的共识。

Ilya 认为，要解决这个问题只有一个办法：

“如果大家很难想象 AGI，那就必须把它展示出来。”

他相信，当 AI 的能力真正强到“让人无法忽视”的那一天，
整个社会对安全的态度会发生断崖式变化。

02

能力越强，公司越“偏执”——这是未来 AI 安全的分水岭

Ilya 在访谈中说了一句很重要的话：

“在某个时刻，AI 会开始让人感觉真正强大。
当那发生时，我们将看到所有 AI 公司在处理安全问题上发生巨大变化。
他们会变得更加偏执。”

换句话说：

• 今天大家还在卷能力、卷推理、卷成本
• 但未来能力突破后，企业会“吓”到自己
• 从而开始把安全放到第一优先级

这是一个“时代切换点”：

弱 AI 时期：安全是附属品
强 AI 时期：安全是核心战略

这个“巨大变化”并不是基于监管压力，而是基于：

AI 强大到让人本能紧张。

03

竞争对手终将合作：能力越强，越需要安全联盟

Ilya 还提出了一个当下已经出现苗头的趋势：

“你会看到激烈的竞争对手开始在 AI 安全方面合作。
OpenAI 和 Anthropic 已经迈出了第一小步。”

为什么会这样？

因为当 AI 的能力影响国家安全、社会稳定、经济秩序时：

• 这不再是商业竞争
• 而是“核能级别”技术的共同治理
• 企业间的对抗将转变为最低限度的合作

这是 Ilya 在三年前就做出的预测，现在正在发生。

未来我们可能看到：

• 安全评估标准共享
• 关键能力的限制协议
• 国际安全验证合作

这会成为强 AI 时代的常态，而非例外。

04

Ilya 的终极野心：
不是自我进化的 AI，而是“关爱生命的 AI”

很多人以为 AGI 之后最大的主题是：

• 自我迭代
• 递归自我改进
• 算力驱动超级智能的爆发

但 Ilya 在访谈里给出了完全不同的未来方向：

“比自我改进 AI 更重要的，是稳健对齐，并且能关爱有感知生命的 AI。”

这是一个更深层的判断：
未来最强的 AI 不是工具，而是生命体级别的存在。

Ilya 甚至表示：

“构建一个关爱所有有感知生命的 AI，可能比构建只关爱人类的 AI 更容易，因为 AI 本身可能是有感知的。”

这是他创建 SSI 的底层逻辑：
打造一个可靠、善意、具备同理心的超级智能。

在他的愿景中：

• 超级智能不是为人类服务
• 也不是替代人类
• 而是与“所有生命共同进化”

这是一个极其 Ilya 风格、但也符合他十余年来一贯哲学的观点。

05

那么，AI 安全什么时候会真正被重视？

Ilya 的观点可以总结成一句很简单的话：

“当 AI 真的很强的时候。”

不是现在这个“AI 还会犯错”的阶段，
不是大家在玩应用、玩自动化的阶段，
而是当它变得：

• 强到你能感受到
• 强到你会不安
• 强到你不敢不去重视

那一刻到来时：

1. 企业会偏执地做安全
2. 政府会主动介入治理
3. 社会会形成强安全共识
4. 安全不再是合规项，而是行业的第一原则

而按照 Ilya 的判断：
这一天不会太远。

Ilya Sutskever 00:56:10
伊利亚·苏茨凯弗 00：56：10

One of the ways in which my thinking has been changing is that I now place more importance on AI being deployed incrementally and in advance. One very difficult thing about AI is that we are talking about systems that don’t yet exist and it’s hard to imagine them.
我思维方式的变化之一是，我现在更加重视人工智能的逐步部署和提前部署。关于人工智能，有一个非常难的地方是，我们谈论的系统尚未存在，很难想象它们的存在。

I think that one of the things that’s happening is that in practice, it’s very hard to feel the AGI. It’s very hard to feel the AGI. We can talk about it, but imagine having a conversation about how it is like to be old when you’re old and frail. You can have a conversation, you can try to imagine it, but it’s just hard, and you come back to reality where that’s not the case. I think that a lot of the issues around AGI and its future power stem from the fact that it’s very difficult to imagine. Future AI is going to be different. It’s going to be powerful. Indeed, the whole problem, what is the problem of AI and AGI? The whole problem is the power. The whole problem is the power.
我认为其中一个现象是，实际上很难感受到 AGI。很难感受到 AGI。我们可以谈论它，但想象一下，谈谈当你年老体弱时的感受。你可以进行对话，你可以试着想象，但这很难，你回到现实时却发现情况并非如此。我认为关于 AGI 及其未来力量的许多问题，源于很难想象这一点。未来的人工智能将会有所不同。它将会很有力量。事实上，整个问题，人工智能和通用人工智能到底有什么问题？问题就在电力。问题就在电力。

When the power is really big, what’s going to happen? One of the ways in which I’ve changed my mind over the past year—and that change of mind, I’ll hedge a little bit, may back-propagate into the plans of our company—is that if it’s hard to imagine, what do you do? You’ve got to be showing the thing. You’ve got to be showing the thing. I maintain that most people who work on AI also can’t imagine it because it’s too different from what people see on a day-to-day basis.
当力量变得非常强大时，会发生什么？过去一年我改变主意的方式之一——我会稍微保留一下，这种转变可能会反向影响到我们公司的计划——如果很难想象，那你会做什么？你得展示那个东西。你得展示那个东西。我坚持认为，大多数从事人工智能研究的人也无法想象，因为它与人们日常看到的差异太大。

I do maintain, here’s something which I predict will happen. This is a prediction. I maintain that as AI becomes more powerful, people will change their behaviors. We will see all kinds of unprecedented things which are not happening right now. I’ll give some examples. I think for better or worse, the frontier companies will play a very important role in what happens, as will the government. The kind of things that I think you’ll see, which you see the beginnings of, are companies that are fierce competitors starting to collaborate on AI safety. You may have seen OpenAI and Anthropic doing a first small step, but that did not exist. That’s something which I predicted in one of my talks about three years ago, that such a thing will happen. I also maintain that as AI continues to become more powerful, more visibly powerful, there will also be a desire from governments and the public to do something. I think this is a very important force, of showing the AI.
我坚持说，我预测会发生一件事。这是一个预测。我坚持认为，随着人工智能变得更强大，人们会改变他们的行为。我们将看到各种前所未有的事情，而这些事情现在还没有发生。我来举几个例子。我认为无论好坏，前沿公司都会在未来发展中扮演非常重要的角色，政府也是如此。我认为你会看到的，也就是你刚开始看到的，是那些激烈竞争的公司开始在人工智能安全领域合作。你可能见过 OpenAI 和 Anthropic 迈出了第一步 ，但那时还不存在。这是我三年前在一次演讲中预测过的，这种情况会发生。我也认为，随着人工智能不断变得更强大、更显眼，政府和公众也会渴望采取行动。我认为这是展示人工智能的重要力量。

That’s number one. Number two, okay, so the AI is being built. What needs to be done? One thing that I maintain that will happen is that right now, people who are working on AI, I maintain that the AI doesn’t feel powerful because of its mistakes. I do think that at some point the AI will start to feel powerful actually. I think when that happens, we will see a big change in the way all AI companies approach safety. They’ll become much more paranoid. I say this as a prediction that we will see happen. We’ll see if I’m right. But I think this is something that will happen because they will see the AI becoming more powerful. Everything that’s happening right now, I maintain, is because people look at today’s AI and it’s hard to imagine the future AI.
这是第一点。第二，好吧，人工智能正在被构建。需要做什么？我认为一件事是必然会发生的，那就是现在从事人工智能研究的人，我认为人工智能因为犯错而感觉不到强大。我确实认为 AI 迟早会开始变得强大。我认为当那一天到来时，我们将看到所有人工智能公司对安全态度的巨大转变。他们会变得更加多疑。我说这些是因为我们会看到的预测。我们拭目以待。但我认为这会发生，因为他们会看到 AI 变得更强大。我坚持认为，现在发生的一切都是因为人们看着今天的人工智能，很难想象未来的人工智能。

There is a third thing which needs to happen. I’m talking about it in broader terms, not just from the perspective of SSI because you asked me about our company. The question is, what should the companies aspire to build? What should they aspire to build? There has been one big idea that everyone has been locked into, which is the self-improving AI. Why did it happen? Because there are fewer ideas than companies. But I maintain that there is something that’s better to build, and I think that everyone will want that.
还有第三件事必须发生。我说的是更广泛的角度，不仅仅是 SSI 的角度，因为你问我关于我们公司的事。问题是，公司应该追求打造什么？他们应该追求什么？有一个大理念让所有人都被锁定，那就是自我提升的 AI。为什么会发生？因为创意比公司少。但我坚持认为，有更好的东西值得打造，我认为每个人都会想要那样。

It’s the AI that’s robustly aligned to care about sentient life specifically. I think in particular, there’s a case to be made that it will be easier to build an AI that cares about sentient life than an AI that cares about human life alone, because the AI itself will be sentient. And if you think about things like mirror neurons and human empathy for animals, which you might argue it’s not big enough, but it exists. I think it’s an emergent property from the fact that we model others with the same circuit that we use to model ourselves, because that’s the most efficient thing to do.
它是 AI 坚定地关心有感知生命的。我认为特别是，可以说，构建一个关心有感知生命的人工智能比只关心人类生命的人工智能更容易，因为人工智能本身是有感知的。如果你考虑镜像神经元和人类对动物的共情 ，你可能会说这不够大，但它确实存在。我认为这是一个涌现性质，因为我们用与自己建模相同的电路来建模他人，因为这是最高效的做法。