生成模型背后的代码正在推动创新，但如果顶级公司受到惊吓，他们可能会关闭所有通道。
上周，据报道，谷歌高级工程师Luke Sernau撰写了一份泄露的备忘录，他大声说出了硅谷许多人几周来一直在窃窃私语的内容：开源正在威胁大科技公司对人工智能的控制。
新的开源大型语言模型——研究人员和应用程序开发人员可以研究、构建和修改的谷歌Bard或OpenAI的ChatGPT的替代品——正在像皮纳塔的糖果一样下降。这些是大公司创建的一流人工智能模型的更小、更便宜的版本，这些模型在性能上（几乎）与它们相匹配——并且可以免费共享。
Sernau写道，像谷歌这样的公司在本周的年度产品展示上透露，它正在向其拥有的一切，从Gmail到照片再到地图，向其所有东西投掷生成人工智能，他们忙于从头看，却看不到真正的竞争的到来，Sernau写道：“当我们一直在争吵时，第三个派别一直在悄悄地吃我们的午餐。”
在许多方面，这是一件好事。更多地接触这些模型有助于推动创新，这也有助于发现它们的缺陷。如果只有几家超级富豪公司能够保持这项技术或决定如何使用这项技术，人工智能就不会蓬勃发展。
但这种开源热潮岌岌可危。大多数开源版本仍然站在拥有大量资金的大公司推出的巨大模型的肩膀上。如果OpenAI和Meta决定关闭商店，繁荣的城镇可能会成为死水。
例如，其中许多模型都是在LMAMA之上构建的，LLAMA是由Meta AI发布的开源大型语言模型。其他人使用一个名为Pile的大量公共数据集，该数据集由开源非营利组织EleutherAI组合而成。但EleutherAI的存在只是因为OpenAI的开放性意味着一群程序员能够对GPT-3的制作方式进行逆向工程，然后在空闲时间创建自己的。
Stella Biderman说：“Meta AI在培训和向研究界发布模型方面做得非常好。”她把时间分配到她担任执行董事兼研究主管的EleutherAI和咨询公司Booz Allen Hamilton之间。Sernau也强调了Meta AI在他的谷歌备忘录中的关键作用。（谷歌向麻省理工学院技术评论证实，该备忘录是由其一名员工撰写的，但指出它不是官方战略文件。）
所有这些都可能改变。由于对竞争的恐惧，OpenAI已经在扭转其之前的开放政策。Meta可能开始想要遏制暴发户使用其开源代码做不愉快事情的风险。Meta AI的董事总经理Joelle Pineau在向外人开放代码时说：“老实说，我觉得现在这样做是正确的。”“这是我们未来五年将采取的相同战略吗？我不知道，因为人工智能移动得太快了。”
如果关闭访问的趋势继续下去，那么不仅开源人群将减少，而且下一代人工智能突破将完全回到世界上最大、最富有的人工智能实验室手中。
人工智能的制造和使用的未来正处于十字路口。
开源的财富
开源软件已经存在了几十年。这就是互联网运行的内容。但构建强大模型的成本意味着开源人工智能直到大约一年前才起飞。它很快就变成了一个丰盛的。
看看过去几周。3月25日，支持免费和开放访问人工智能的初创公司Hugging Face公布了OpenAI于11月发布的病毒式聊天机器人ChatGPT的第一个开源替代品。
Hugging Face的聊天机器人HuggingChat建立在为对话而微调的开源大型语言模型之上，该模型名为Open Assistant，该模型在大约13,000名志愿者的帮助下进行了培训，并在一个月前发布。但Open Assistant本身是建立在Meta的LLAMA之上的。
然后是StableLM，这是Standability AI于3月19日发布的开源大型语言模型，该公司是热门文本到图像模型Stable Diffusion的幕后推手。一周后，3月28日，Stablestable AI发布了StableVicuna，这是StableLM的一个版本，与Open Assistant或HuggingChat一样，针对对话进行了优化。（将StableLM视为Stableability对GPT-4的回答，将StableVicuna视为对ChatGPT的回答。）
这些新的开源模型加入了过去几个月发布的一系列其他模型，包括Alpaca（来自斯坦福大学的一个团队）、Dolly（来自软件公司Databricks）和Cerebras-GPT（来自人工智能公司Cerebras）。这些模型大多建立在LLAMA或EleutherAI的数据集和模型上；Cerebras-GPT遵循DeepMind设置的模板。你可以打赌还会有更多。
对一些人来说，开源是一个原则问题。人工智能研究员和YouTube用户Yannic Kilcher在介绍Open Assistant的视频中说：“这是一项全球社区的努力，旨在将对话式人工智能的力量带给每个人......让它脱离几家大公司的手中。”
Hugging Face的联合创始人Julien Chaumond上个月在推特上写道：“我们永远不会放弃为开源人工智能而战。”
对其他人来说，这是一个利润问题。稳定性人工智能希望用它用图像拉动的聊天机器人重复同样的技巧：燃料，然后从使用其产品的开发人员的爆发创新中受益。该公司计划充分利用这一创新，并将其重新投入到为广大客户的定制产品中。稳定人工智能首席执行官Emad Mostaque说：“我们促进创新，然后我们挑选。”“这是世界上最好的商业模式。”
无论哪种方式，大量自由和开放的大型语言模型都将这项技术交到世界各地数百万人的手中，激励许多人创建新工具并探索它们的工作原理。Biderman说：“获得这项技术的途径比以往任何时候都多得多。”
Fried Frank律师事务所的律师Amir Ghavi代表包括稳定人工智能在内的许多人工智能公司，他说：“坦率地说，人们使用这项技术的方式数量惊人。”“我认为这证明了人类的创造力，这是开源的全部意义。”
熔化GPU
但从头开始训练大型语言模型，而不是在它们的基础上进行构建或修改，这很难。Mostaque说：“这仍然超出了绝大多数人无法企及。”“我们融化了一堆构建StableLM的GPU。”
稳定性AI的第一个版本，文本到图像模型稳定扩散，即使不比谷歌的Imagen和OpenAI的DALL-E等封闭等产品工作得更好。它不仅可以免费使用，还可以在一台好的家用电脑上运行。去年，稳定扩散比任何其他模型都更能引发围绕图像制作人工智能的开源开发的爆炸性增长。
然而，这一次，Mostaque希望管理预期：StableLM没有接近匹配GPT-4。“还有很多工作需要做，”他说。“这不像稳定扩散，在那里你立即拥有了超级可用的东西。语言模型更难训练。”
另一个问题是，模型越大，就越难训练。这不仅仅是计算能力的成本。培训过程更频繁地与更大的模型一起分解，需要重新启动，使这些模型的构建成本更高。
Biderman说，在实践中，大多数团体能够负担得起的参数数量有一个上限。这是因为大型模型必须在多个不同的GPU上进行训练，并将所有硬件连接在一起很复杂。她说：“以这种规模成功训练模型是高性能计算研究的一个非常新的领域。”
确切的数字随着技术的进步而变化，但现在Biderman将这个上限大约在60亿到100亿参数的范围内。（相比之下，GPT-3有1750亿参数；LLA有650亿参数。）这不是一个确切的相关性，但一般来说，较大的模型往往表现得更好。
Biderman预计，围绕开源大型语言模型的一系列活动将继续下去。但它将以扩展或适应一些现有的预训练模型为中心，而不是推动基本技术。她说：“只有少数组织预先训练了这些模型，我预计在不久的将来会保持这种状态。”
这就是为什么许多开源模型都建立在LLAMA之上，LLAMA是由Meta AI从头开始训练的，或由EleutherAI发布的，EleutherAI是一个非营利组织，其对开源技术的贡献是独一无二的。Biderman说，她只知道另一个像这样的团体——那就是在中国。
多亏了OpenAI，ElleutherAI才开始了。倒退到2020年，这家总部位于旧金山的公司刚刚推出了一款热门的新车型。Biderman说：“GPT-3对许多人对大规模人工智能的看法发生了巨大变化。”“就人们对这些模型的期望而言，这通常被认为是一种智力范式转变。”
Biderman和其他少数研究人员对这项新技术的潜力感到兴奋，他们想玩弄这个模型，以更好地了解它的工作原理。他们决定复制它。
OpenAI没有发布GPT-3，但它确实分享了足够的信息，说明它是如何构建的，以便Biderman和她的同事们弄清楚。在OpenAI之外，以前没有人训练过这样的模型，但当时正处于疫情中期，团队几乎没有其他事情可做。Biderman说：“当我参与其中时，我正在做我的工作，和妻子一起玩棋盘游戏。”“因此，每周投入10或20个小时是相对容易的。”
他们的第一步是组装一个巨大的新数据集，其中包含数十亿段文本，以与OpenAI用于训练GPT-3的数据相媲美。EleutherAI称其数据集为Pile，并于2020年底免费发布。
然后，EleutherAI使用这个数据集来训练其第一个开源模型。EleutherAI培训的最大模型花了三个半月的时间，由一家云计算公司赞助。她说：“如果我们自掏腰包，它将花费我们大约40万美元。”“对大学研究小组的要求太多了。”
伸出援手
由于这些成本，在现有模型的基础上构建要容易得多。Meta AI的LLaMA已迅速成为许多新开源项目的起点。自十年前Yann LeCun成立以来，Meta AI一直倾向于开源开发。Pineau说，这种心态是文化的一部分：“这在很大程度上是一种自由市场，'快速移动，建造东西'的方法。”
Pineau很清楚好处。她说：“它确实使能够为开发该技术做出贡献的人数多样化。”“这意味着不仅研究人员或企业家，而且民间社会等都可以了解这些模型。”
像更广泛的开源社区一样，Pineau和她的同事认为透明度应该是常态。她说：“我推动我的研究人员做的一件事是启动一个项目，认为你想要开源。”“因为当你这样做时，它会在你使用什么数据以及如何构建模型方面设置一个更高的标准。”
但也有严重的风险。大型语言模型散布错误信息、偏见和仇恨言论。它们可用于大规模生产宣传或为恶意软件工厂提供动力。Pineau说：“你必须在透明度和安全之间做出权衡。”
对于Meta AI来说，这种权衡可能意味着一些模型根本没有发布。例如，如果Pineau的团队在Facebook用户数据上训练了一个模型，那么它将留在内部，因为私人信息泄露的风险太大了。否则，团队可能会使用点击式许可证发布模型，该许可证规定它必须仅用于研究目的。
这是它为LLAMA采取的方法。但在发布后的几天内，有人在互联网论坛4chan上发布了完整的模型和运行说明。Pineau说：“我仍然认为这是这种特定模型的正确权衡。”“但我对人们会这样做感到失望，因为这让做这些发布变得更加困难。”
她说：“对于这种方法，我们一直得到公司领导层对马克（扎克伯格）的大力支持，但这并不容易。”
Meta AI的赌注很高。她说：“当你是一家非常小的初创公司时，做疯狂事情的潜在责任比是一家非常大的公司时要低得多。”“目前，我们向数千人发布这些模型，但如果问题变得更大，或者我们认为安全风险更大，我们将关闭这个圈子，我们将只向拥有非常强大资历的已知学术合作伙伴发布——根据保密协议或保密协议，阻止他们使用该模型构建任何东西，即使是出于研究目的。”
如果发生这种情况，那么开源生态系统的许多宠儿可能会发现，他们构建Meta AI接下来发布的任何内容的许可证已被撤销。没有LLAMA，羊驼、Open Assistant或Hugging Chat等开源模型就不会那么好。下一代开源创新者不会像目前那样站得上脚。
在平衡中
其他人也在权衡这种开源免费的风险和回报。
大约在Meta AI发布LLAMA的同时，Hugging Face推出了一种门控机制，以便人们在公司平台上下载许多模型之前必须请求访问权限并获得批准。这个想法是限制那些有合法理由（由Hugging Face决定）的人获得他们获得模型的机会。
Hugging Face的首席伦理科学家Margaret Mitchell说：“我不是一个开源的布道者。”“我确实明白为什么被关闭很有意义。”
Mitchell指出，非自愿色情是使强大的模型广泛获得的缺点的一个例子。她说，这是图像制作人工智能的主要用途之一。
Mitchell之前曾在谷歌工作，并共同创立了其道德人工智能团队，他理解了局势的紧张局势。她赞成她所谓的“负责任的民主化”——这种方法类似于Meta AI，即根据模型造成伤害或被滥用的潜在风险，以受控的方式发布模型。她说：“我真的很欣赏开源的理想，但我认为建立某种问责机制是有用的。”
OpenAI也在关闭水龙头。上个月，当它宣布该公司为ChatGPT提供动力的大型语言模型的新版本GPT-4时，技术报告中有一句话：“鉴于GPT-4等大型模型的竞争格局和安全影响，本报告没有包含有关架构（包括模型尺寸）、硬件、培训计算、数据集构建、培训方法或类似内容的进一步细节。”
这些新限制的部分原因是，OpenAI现在是一家利润驱动的公司，与谷歌等公司竞争。但它们也反映了内心的改变。联合创始人兼首席科学家Ilya Sutskever在接受The Verge采访时表示，他的公司过去的开放性是一个错误。
OpenAI的政策研究员Sandhini Agarwal说，当涉及到什么是安全和不安全的公开时，OpenAI肯定已经改变了策略：“以前，如果某些东西是开源的，也许一小群修补匠可能会关心。现在，整个环境都变了。开源可以真正加速发展，并导致逐底竞争。”
但并不总是这样。如果OpenAI三年前在发布GPT-3的细节时有这种感觉，就不会有EleutherAI。
今天，EleutherAI在开源生态系统中发挥着举足轻重的作用。此后，它构建了几个大型语言模型，Pile被用于培训许多开源项目，包括Stability AI的StableLM（Mostaque在EleutherAI的董事会上）。
如果OpenAI共享的信息更少，这一切都不可能实现。与Meta AI一样，EleutherAI可以实现大量的开源创新。
但随着GPT-4以及5和6的封锁，在几家大公司之后，开源人群可能会再次被留给修补。他们可能会生产狂野的新版本——甚至可能威胁到谷歌的一些产品。但他们将被上一代的模型所困。真正的进步，下一个飞跃，将闭门发生。
这重要吗？如何看待大型科技公司关闭访问的影响，以及对开源的影响，在很大程度上取决于你对人工智能应该如何制造以及谁应该制造人工智能的看法。
Ghavi说：“人工智能可能是未来几十年社会如何组织起来的驱动力。”“我认为拥有一个更广泛的检查和透明度系统比将权力集中在少数人手中要好。”
Biderman同意：“我绝对不认为每个人都有开源的某种道德必要性，”她说。“但归根结底，让那些没有对其商业成功进行经济投资的人开发和研究这项技术是非常重要的。”
另一方面，OpenAI声称它只是在玩安全游戏。OpenAI信任和安全团队负责人Dave Willner说：“并不是说我们认为透明度不好。”“更重要的是，我们正试图弄清楚如何将透明度与安全相协调。随着这些技术变得更加强大，在实践中，这些事情之间存在一定程度的紧张关系。”
Willner说：“学术研究界已经形成了人工智能中的许多规范和思维，他们重视协作和透明度，以便人们可以在彼此的工作基础上再接再厉。”“随着这项技术的发展，这可能需要改变一下。”
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢