伟大无法被规划,但每个伟大的公司,都值得被回溯。OpenAI现在的成功不仅属于一个团队,也属于硅谷的生态。但最重要的前提是,OpenAI理解了这个生态中的规则、并为自己找到了最合适的位置。
2016年,记者Steven Levy首次和OpenAI的核心创始人之一、CTO Greg Brockman共进早餐。此后的六年中,Steven持续与Brockman以及OpenAI的关键人物CEO Sam Altman、首席科学家Ilya Sutskever、研究员Alec Radford保持密切联系。当然,为追踪OpenAI的进度,Steven也持续与曾放弃OpenAI、并断言其不会成功的Elon Musk以及推动关键合作的微软首席执行官Satya Nadella、首席技术官Kevin Scott保持联络。
Steven详细记录了成就OpenAI的几次「生死抉择」,我们节选和编译了以下内容。通过这篇近万字的内容,我们得以了解,这个团队是如何在困境中思考、并为自己制定出一套原则,来达到最终那个看似「不可能」的目标。
本期「云启嗑普」节选自「Weird」十月刊,由DeepL协助编译。希望能为正在创业途中、面临关键选择的科技创业者,提供一些参考。
OpenAI 成立于2015 年 12 月。当时,我去采访了Musk和Altman,根据两位的介绍,这个项目「旨在通过与世界共享,让人工智能变得安全、易用」。换句话说,就是「开源」。但Altman提醒我,不要期望很快就有结果。他说:“在很长一段时间里,这个项目都会像一个研究实验室。”
OpenAI 成立一年多后,我在旧金山与OpenAI的CTO Greg Brockman共进午餐。他说:“我们的目标,也是我们真正在推动的事情,就是让系统来完成人类以前无法完成的事情。”但在当时,OpenAI看上去只是一群研究人员在发表论文,虽然已经投入了 10 亿美元(主要来自Musk)。“一切都不顺利,”Altman说,“我们知道我们想做什么、为什么想做,但我们不知道怎么做。”Altman还记得小团队聚集在Brockman公寓里的一个时刻,当时他们还没有办公室。“我当时想,我们该怎么办?”
2016年,OpenAI聘请了一位当时还不知名的研究员,Alec Radford。Radford2016年加入OpenAI,“有点像加入研究生课程”,在他看来,这里是一个开放的、可以没有压力的研究AI的地方。
Radford的第一个实验是扫描20亿条Reddit评论、训练一个语言模型。与OpenAI的许多早期实验一样,这次实验也失败了。但在OpenAI,这位时年23岁的研究员被允许继续尝试,再次失败。
“我们当时就是觉得,Radford在AI方面是非常优秀的,那就让他做他的事情吧,”Brockman说。
之后,Radford用大约1亿条亚马逊的产品评论训练了一个语言模型,简单地预测生成用户评论的下一个字符。惊喜的是,模型自己弄明白了评论的消极性和积极性,当你想创建一个积极或消极的内容时,它按要求生成了赞美或严厉的评论(尽管文笔有些生硬:“我喜欢这个武器的外观...对于喜欢国际象棋的男人来说必看!”)。
“这完全是一个意外,”Radford说。评论的积极与消极是语义的一个复杂功能,但不知怎么的,Radford的系统的已经部分掌握了它。在OpenAI内部,这个神经网络的一部分被称为「无监督情感神经元」。
2017年初,一份由8名谷歌研究人员合著的研究论文的预印本发布,这篇论文的标题是“Attention Is All You Need”,后来它被称为“变形金刚(Transformer)论文”,这样命名既反映了这个想法具有改变游戏规则性质的本质,也是为了向那些可以从卡车变成巨型机器人的玩具致敬。但当时,只有少数像Sutskever这样的人能理解这一突破有多么强大。
Brockman 说:“Transformer 出现才是我们团队真正的顿悟时刻。这就是我们一直在等待的。此后两周内取得的进展,比过去两年都要多。”
这也是OpenAI在当时的策略——努力解决问题,然后坚信我们或这个领域中的某个人,会设法找出缺失的要素。
Quora首席执行官Adam D'Angelo是OpenAI的董事会成员,他说:“为了利用Transformer的优势,你需要扩大它的规模,把它办得更像一个工程组织。不能让每个研究人员都做自己的事、训练自己的模型、只做能发表论文的优雅的东西。必须要有人来做这些更乏味、不那么优雅的工作。”他补充说,这是OpenAI能够做到的,也是其他人做不到的。
Radford和他的合作者给他们创建的模型起的名字是 “生成式预训练变换器(generatively pretrained transformer)”——GPT-1 的缩写。该模型包含 1.17 亿个参数或变量,在理解语言和生成答案方面的表现优于之前的所有模型。Radford还记得在 OpenAI 办公室的一个深夜。“我只是一遍又一遍地说:‘嗯,这很酷,但我很确定它做不了 X。’然后我会快速编写一个评估代码,果然,它可以做到 X。”
当时的世界还不知道,但Altman和Musk的研究实验室已经开始了一次可能会慢慢接近通用人工智能(AGI)之巅的攀升。OpenAI背后的疯狂想法,突然不再那么疯狂了。
OpenAI发展时间线|TechTarget
GPT 的每一次迭代都会做得更好,部分原因是每一次迭代所吞噬的数据都比前一个模型多出一个数量级。仅一年后,OpenAI 就在开放互联网上用 15 亿个参数训练了 GPT-2。就像蹒跚学步的孩子掌握语言一样,它的反应越来越好,越来越连贯,以至于 OpenAI 在是否将该程序公之于众的问题上犹豫不决。Radford担心它会被用来生成垃圾邮件。最终,OpenAI暂时保留了完整版本,向公众提供了一个功能较弱的版本。
2018 年初,Musk开始对OpenAI的进展不满意了——或者说,他觉得既然 OpenAI 已经有进展,就需要领导力来抓住机会。又或者,正如他后来解释的那样,他觉得安全应该更加重要。总之,不管是什么问题,他都有解决方案:把一切都交给他。他提议持有该公司的多数股份,将其加入自己的多份全职工作(特斯拉、SpaceX)和监管义务(Neuralink 和 Boring Company)的投资组合中。
Musk认为他有权拥有 OpenAI。“没有我,它就不会存在。”他后来告诉 CNBC,“名字都是我想出来的!”但Altman和 OpenAI 的其他智囊团成员对成为Musk宇宙的一部分毫无兴趣。当他们明确表示这一点时,Musk切断了联系,并向公众提供了一个不完整的解释:他离开董事会是为了避免与特斯拉的人工智能工作发生冲突。他是在年初的一次全体员工会议上告别的,会上他预言 OpenAI 将以失败告终。他还称至少有一名研究人员是 “蠢货”。他还带走了自己的钱。
由于公司没有收入,这是一场生存危机。“Musk正在切断他的支持,”Altman在给Reid Hoffman的电话中惊慌失措地问,“我们该怎么办?”霍夫曼自告奋勇要维持公司运转,支付管理费用和工资。
但这只是权宜之计,OpenAI 还得从别处掘金。硅谷喜欢把钱砸给从事时髦技术工作的人才。但如果他们是在非营利机构工作,就不那么喜欢了。对 OpenAI 来说,获得第一个十亿已经是巨大的进步。为了训练和测试新一代的 GPT,然后获取部署它们所需的计算能力,公司需要新的「十亿美元」。而且要快。
因此,在 2019 年 3 月,OpenAI 想出了一个怪异的办法:它将继续保持非营利性质,全心全意履行使命;但它也将创建一个营利实体。这种安排的实际结构非常复杂,但基本上,整个公司现在从事的都是 「有上限」的盈利业务。如果达到了上限——这个数字并没有公开,但如果你仔细阅读公司章程,就会发现上限可能高达数万亿——超出上限的一切都将归还给非营利研究实验室。
这项新颖的计划几乎是一种量子化的公司组建方法:根据你的时空观,这家公司既是营利性的,也是非营利性的。细节体现在充满方框和箭头的图表中,就像科学论文中间的方框和箭头,只有博士或辍学的天才才敢涉足。当我向Sutskever 提出,这看起来就像尚未构想的 GPT-6 在你提示它避税时可能会提出的方案时,他并不热衷于我的比喻。他说:“这与会计无关。”
但会计至关重要。营利性公司的优化目标是利润。像 Meta 这样的公司在投入数十亿美元进行研发时会感受到来自股东的压力,这是有原因的。这怎么能不影响公司的运营方式呢?但是,避免商业化不正是Altman让 OpenAI 成为非营利组织的初衷吗?根据首席运营官布Brad Lightcap的说法,公司领导层认为,董事会仍然是非营利性控制实体的一部分,董事会将确保营收和利润的驱动力不会压倒最初的想法。他说:“我们需要保持使命感,将其作为我们存在的理由。它不应该只是精神上的,而应该体现在公司的结构中。”董事会成员Adam D'Angelo表示,他非常重视这一责任:“我和董事会其他成员的工作就是确保 OpenAI 坚守自己的使命”。
Lightcap解释说,潜在投资者被警告要注意这些界限。他说:“我们有一份法律免责声明,上面写着作为投资者,你可能会赔光所有的钱。我们不是来为你赚取回报的。我们来这里首先是为了完成一项技术任务。而且,哦,顺便说一句,我们真的不知道在后 AGI 世界里,钱会扮演什么角色。”
最后一句话可不是说着玩的。在重组文件的某处有这样一条规定:如果公司成功创造出 AGI,所有财务安排都将重新考虑。毕竟,从那时起,这将是一个崭新的世界。人类将拥有一个外星伙伴,它能做我们所做的很多事情,只是做得更好。因此,之前的安排可能实际上已经作废了。
不过,这其中有一个小问题:目前,OpenAI 还不知道 AGI 到底是什么。
OpenAI位于旧金山先锋大厦的办公室|MIT Technology Review
对于AGI的定义,Altman的回答也不明确。他说:“这不是一个单一的图灵测试,而是我们可能会用到的许多东西。我知道这种含糊其辞并不能令人满意。但我们确实不知道,到时候会是什么样子。”
为了实现 OpenAI 的愿景,数十亿美元的风险投资甚至都不足以被称为「赌注」。创造 LLM 的Transformer需要大型硬件。GPT 系列的每一次迭代都需要呈指数级增长的功率——GPT-2 有超过 10 亿个参数,而 GPT-3 将使用 1750 亿个参数。OpenAI 现在就像《大白鲨》中的昆特,在鲨鱼猎人看到大白鲨的体型之后。Altman说:“事实证明,我们并不知道我们需要多大的船。”
显然,只有少数几家公司拥有 OpenAI 所需的资源。“我们很快就锁定了微软,”Altman说。微软首席执行官Satya Nadella和首席技术官Kevin Scott的功劳在于,这家软件巨头能够克服一个令人不舒服的现实:在花费了 20 多年时间和数十亿美元建立了一个所谓的尖端人工智能研究部门之后,微软需要一家成立仅几年的小公司注入创新元素。
Scott说,不仅仅是微软落伍了,“每个人都落伍了”。他说,OpenAI 专注于追求 AGI,这让它取得了类似于登月的成就,而那些大公司甚至都没有瞄准这个目标。这也证明,不追求生成式人工智能是微软需要解决的失误。微软最初出资 10 亿美元,以其服务器上的计算时间来偿还。但随着双方信心的增强,交易规模也随之扩大。现在,微软已经向 OpenAI 投入了 130 亿美元。Scott说:“在前沿领域的投入是非常昂贵的。”
当然,由于 OpenAI 的存在离不开一家大型云计算提供商的支持,微软也为自己争取到了一大笔好处。微软通过讨价还价,获得了Nadella所说的 OpenAI 盈利部门的 “非控股股权”——据说是 49%。根据交易条款,OpenAI 最初的一些理想——为所有人提供平等访问权——似乎被拖进了垃圾桶。现在,微软获得了 OpenAI 技术商业化的独家授权。而且,OpenAI 还承诺只使用微软的云服务。
换句话说,微软甚至不用从 OpenAI 的利润中分一杯羹(据说微软在收回投资之前可以获得 75% 的利润),就可以为其 Azure 网络服务锁定全球最受欢迎的新客户之一。不过Nadella说,这可能是人类最后的发明:一旦机器比我们更聪明,我们可能要考虑更大的问题。
当微软开始将大量现金投入OpenAI(2021年为20亿美元,今年早些时候为100亿美元)时,OpenAI已经完成了GPT-3,当然,它比前任产品更令人印象深刻。当Nadella看到GPT-3的能力时,他表示,这是他第一次深刻理解微软捕捉到了真正变革性的东西。例如,GPT已经自己学会了如何编程。
“我们没有对其进行编码培训-它就自己变得擅长编程了!”他说。借助对GitHub的所有权,微软发布了一个名为Copilot的产品,使用GPT可以根据命令生成代码。微软稍后将OpenAI技术整合到其工作产品的新版本中。用户需要为这些产品支付额外费用,而其中一部分收入将被记录在OpenAI的账簿上。
一些观察家对 OpenAI 的一记重拳表示震惊:创建营利部门并与微软达成独家协议。一家承诺保持无专利、开源和完全透明的公司,怎么会把自己的技术独家授权给世界上最大的软件公司呢?Musk的言论尤其尖刻。他在 Twitter 上发帖说:“这似乎是开放的反面——本质上,OpenAI被微软俘获了。”他在 CNBC 上打了个比方:“假设你成立了一个拯救亚马逊雨林的组织,但你却成了一家木材公司,砍伐了森林,然后卖掉了它。”
Musk的嘲讽可能会被认为是「被拒绝的追求者的愤懑」,但也不是只有他这么觉得。ID Software的创始人John Carmack说:“Musk的整个愿景演变成这样,让人感觉有点恶心。”另一位不愿透露姓名的知名业内人士说:“OpenAI 已经从一个小型、开放的研究机构变成了一个神秘的产品开发公司,而且还带有莫须有的优越感。”
甚至一些员工也对OpenAI进军营利性世界的冒险行为感到反感。2019 年,包括研究主管Dario Amodei在内的几位主要高管离职,创办了一家名为 Anthropic 的竞争对手人工智能公司。他们最近告诉《纽约时报》,OpenAI 已经变得过于商业化,成为使命漂移的牺牲品。OpenAI 的另一位叛逃者是 Rewon Child,他是 GPT-2 和 GPT-3 项目的主要技术贡献者。他于 2021 年底离职,目前在 Inflection AI 公司工作,该公司由前 DeepMind 联合创始人 Mustafa Suleyman 领导。
Altman自称对叛逃并不感到困扰,认为这只是硅谷的工作方式。他说:“有些人会想去其他地方做伟大的工作,这将推动社会向前发展。而这绝对符合我们的使命。”
Sam Altman|Analytics Insight
去年 11 月之前,人们对 OpenAI 的了解主要局限于技术和软件开发领域。但现在全世界都知道,OpenAI 在当月晚些时候发布了一款基于 GPT 3.5 最新版本的消费级产品。即便如此,OpenAI 还是对 ChatGPT 的反响感到震惊。“我们内部的兴奋点更多集中在 GPT-4 上,”首席技术官 Murati 说,“因此,我们并不认为 ChatGPT 真的会改变一切。恰恰相反,它让公众意识到,现在就必须应对人工智能这一现实。ChatGPT 成为历史上增长最快的消费软件,据说已经积累了 1 亿用户。”
但OpenAI一直不愿证实这一点,只说它拥有“数百万用户”。Radford说:“我没有充分认识到,为 LLM 制作一个易于使用的对话界面,就会让每个人都能更直观地使用它。”
在 OpenAI 内部,对于是否应该发布这样一款功能空前强大的工具,人们争论不休。但Altman对此表示支持。他解释说,这次发布是一项战略的一部分,旨在「让公众适应人工智能注定会改变他们日常生活的现实」,而且可能是为了更好地生活。在公司内部,这被称为「迭代部署假设」。
也有声音说,新产品的推出与公司对投资者和持股员工的承诺相关,因为公司要赚钱。现在,OpenAI 已经在向经常使用其产品的客户收取费用。但 OpenAI 坚称,其真正的战略是「为奇点提供软着陆」。OpenAI政策研究员Sandhini Agarwal说:“回顾一下工业革命,每个人都认为它对世界来说是伟大的。但前 50 年真的很痛苦。很多人失业,很多人贫穷,然后世界就适应了。我们正试图思考如何让人工智能适应之前的这段时期尽可能没有痛苦。”
Sutskever换了一种说法:“你建造了更强大的智能体,却要把它放在地下室里吗?”
今年 2 月,微软利用其价值数十亿美元的合作伙伴关系,发布了一个由 ChatGPT 驱动的必应搜索引擎版本,这让舆论更加哗然。首席执行官Nadella欣喜若狂,因为他在将人工智能引入微软产品方面打败了谷歌。他对「搜索大王」谷歌说,你们在发布自己的 LLM 产品时一直很谨慎,现在也要这么做。他说:“我想让人们知道,我们促使他们采取行动了。”
这样一来,Nadella引发了一场竞赛,大大小小的公司在人工智能产品尚未充分审核之前就纷纷发布。他还引发了新一轮的媒体报道,让越来越多的人彻夜难眠。此外,它还有一个不雅的习惯,那就是自己制造幻觉般的错误信息。
但Altman认为,如果 OpenAI 的产品能迫使人们正视人工智能的影响,那就更好了。在讨论人工智能可能会如何影响人类未来的时候,人类的大多数都应该站出来。
随着社会开始优先考虑人工智能的所有潜在弊端——失业、信息错误、人类灭绝——OpenAI 开始将自己置于讨论的中心。因为如果监管者、立法者和末日论者发起冲锋,要将这一新生的外星智能扼杀在云端摇篮中,那么无论如何,OpenAI 都将是他们的主要目标。OpenAI 的首席政策官Anna Makanju说:“鉴于我们目前的知名度,当事情出错时,即使这些事情是由另一家公司制造的,对我们来说仍然是个问题,因为我们现在被视为这项技术的代言人。”
参议院司法委员会主席理Richard Blumenthal说:“Altman与国会议员打交道的方式非常正面,而且非常精明。”他将Altman的行为与年轻时的比尔-盖茨的行为进行了对比,后者在 20 世纪 90 年代微软受到反垄断调查时不理智地回避了立法者。Blumenthal说:“相比之下,Altman很乐意花一个多小时和我坐在一起,试图教育我。他并没有带着一大群说客或随从前来。他只是展示了 ChatGPT,这让我大开眼界。我对其发展前景和潜在危险都感到兴奋。”
OpenAI 并没有回避对这些危险的讨论,而是将自己描述为「最有能力减轻这些危险的力量」。当Altman顶着剧烈的偏头痛首次出席国会听证会时,他几乎没有遇到科技公司首席执行官宣誓后经常遇到的刁钻问题和傲慢刁难。相反,参议员们向Altman请教如何监管人工智能,Altman热情地表示赞同。
Altman将自己定位为监管的拥护者是有道理的;毕竟,他的使命是AGI,但要安全。批评者指责他在玩弄监管程序,这样一来,监管就会阻碍小型初创企业的发展,并给 OpenAI 和其他大型企业带来优势。Altman对此予以否认。虽然他原则上赞同由一个国际机构来监督人工智能的想法,但他确实认为一些拟议的规则:比如禁止数据集中的所有受版权保护的材料,构成了不公平的障碍。他明确表示,他没有签署一封广为传播的信件,该信件敦促暂停开发更强大的人工智能系统六个月。
但他和 OpenAI 的其他领导人确实在一份只有一句话的声明上签上了自己的名字:「减轻人工智能带来的灭绝风险,应该与大流行病和核战争等其他社会规模的风险一样,成为全球的优先事项」。Altman强调说:“是的,我同意这一点。”Altman和他的团队表示,工作和发布尖端产品是应对社会风险的途径。只有通过分析 ChatGPT 和 GPT-4 用户对数百万条提示的反应,他们才能获得知识,使未来的产品符合道德规范。
Greg Brockman (左)和Ilya Sutskever(右)|Wired
很明显,现在的OpenAI、其Open程度已经不再是公司成立之初提出的彻底「Open」。当我向Sutskever提及此事时,他耸了耸肩。“显然,时代变了。”但他提醒说,这并不意味着最终的结果也变了。他说:“我们面临的是一场巨大的、灾难性的技术变革,即使我们都尽了力,也无法保证成功。但如果一切顺利,我们就能过上不可思议的生活。”
Altman说:“我怎么强调都不过分:我们没有总体规划。就好像我们转过每个角落,用手电筒照亮。我们愿意穿过迷宫到达终点。虽然迷宫变得曲折,但目标并没有改变。我们的核心任务仍然是——相信安全的AGI是一件极其重要的事情,而世界对它的重视程度还不够。”
与此同时,OpenAI 显然在慢慢开发其大型语言模型的下一个版本。虽然难以置信,但该公司坚称尚未开始 GPT-5 的开发工作,而根据不同的观点,人们对该产品要么垂涎三尺,要么望而生畏。显然,OpenAI 正在现有技术基础上进行指数级的强大改进。Brockman说:“我们最大的缺憾就是没有新的想法。拥有一个可以成为虚拟助手的东西是件好事。但这不是我们的梦想,我们的梦想是帮助人类解决现在无法解决的问题。”
考虑到 OpenAI 的历史,下一系列重大创新可能要等到像Transformer那样的重大突破出现。Altman希望OpenAI能实现这一目标——“我们希望成为世界上最好的研究实验室”,他说,“但即使不能,公司也会利用他人的进步,就像利用谷歌的工作一样。世界各地的很多人都将从事重要的工作。”
如果生成式人工智能本身不产生那么多新问题,也会有所帮助。例如,LLM 需要在庞大的数据集上进行训练;显然,最强大的 LLM 会吞噬整个互联网。一些创作者和普通人对此并不满意,他们无意中为这些数据集提供了内容,结果却在某种程度上为 ChatGPT 的产出做出了贡献。
今年 3 月正式加入 OpenAI 的知识产权精英律师Tom Rubin乐观地认为,公司最终会找到一个平衡点,既满足自己的需求,也满足创作者的需求——包括像喜剧演员莎拉-西尔弗曼(Sarah Silverman)这样起诉 OpenAI 使用其内容训练模型的创作者。OpenAI的发展方向之一是:与美联社和Shutterstock等新闻和图片机构合作,为其模型提供内容,而不存在谁拥有谁的问题。
当我问Rubin,他是否坚信 AGI 一定会实现,以及他是否渴望让它实现时,他显得很茫然。他停顿了一下说:“我甚至无法回答这个问题。”当被进一步追问时,他澄清说:“作为一名知识产权律师,他的工作并不是加速实现令人恐怖的智能计算机。但从我的角度来看,我对此充满期待。”
这家公司在短短八年时间里,从一群举步维艰的研究人员变成了改变世界的普罗米修斯巨兽。OpenAI正在转变为一个更「标准」的硅谷独角兽,跻身于影响人们日常生活的大科技公司的行列。
标题:What OpenAI Really Wants
链接:https://www.wired.com/story/what-openai-really-wants/
作者:Steven Levy
评论
沙发等你来抢