Index Ventures ③：基础模型最终将成为所有AI驱动软件的基石

▾ 栏目简介

如果说之前推出的【论文速读】是领读顶会严谨的实证研究论文，那么【好文译递】则想传递观点性、发散性的议论文章，只是静静地完整呈现译文，任您自由地品读和思考。

✍🏻 编者按

—

2022年12月13日，Index Ventures 发布了《The AI Platform Shift》系列文章，四篇文章分别从软件价值链、软件应用、基础模型和机器学习四个不同角度，较全面地阐述了 Index 团队对AI未来趋势的洞察和判断，对于业界具有较高的参考价值。我们已经编译了系列文章的前两篇，本期是第三篇《Foundation Models Will Eventually be the Basis of all AI-Powered Software》的编译，原文作者是Mike Volpi。下期我们会推出最后一篇的译文，欢迎继续关注~

📖 原文中译

每个软件应用都将融入AI

—

图片来自 Midjourney

基础模型将包含所有具体应用做出决策所依据的情境。

ML 领域的最新热词之一是 基础模型（foundation model）。基础模型是没有特定用途的、直接在大量数据集上“预训练”的大型人工神经网络。例如流行的OpenAI的GPT-3，它只被训练用于根据给定文本预测文档的下一段文本。但是，基础模型可以通过在较小的手动标记数据集上进行“微调”来执行特定任务，比如客服回答客户问题。

基础模型带来了接近人类表现水平的通用技能。大多数 AI 模型都是根据特定任务的数据进行训练的，比如机械臂被训练来捡东西，自动驾驶汽车被训练来驾驶。而基础模型纳入了来自整个互联网的巨量数据，某些部分的数据甚至是过度且令人讨厌的，但它包含了人类几千年学到的大部分内容。我们 Index 的一个理论是：几乎任何AI应用都可以从基础模型的基础使用中受益。

一些人工任务看起来发挥空间有限，比如开车、仓库装箱或者客服，但我们经常将从生活中别处获得的领悟应用于此。在特定任务上训练的机器没有这样的知识广度，这就是为什么机器人不知道如何处理传送带上的猫，这也是为什么自动驾驶汽车遇到不合理的交通路锥只会停下来。人类可以根据对动物和空间结构的了解，将这些事件放到具体情境中思考，解决掉问题然后继续推进，这正是我们的“超能力”。

我们相信，随着时间的推移，工程师们将越来越多地从预先训练好的基础模型开始，再在垂类的任务上对其进行微调。基础模型不会让特定的AI模型变得“类人化”，但使用基础模型将有助于模型理解最不寻常的情况，并帮助它们在这些情况下对策。基于人类驾驶员的行为来理解他们的情绪，将有助于自动驾驶汽车导航；理解一只偷偷溜进仓库的猫不该出现在传送带上，将有助于机器人处理混乱状况。对于几乎所有的AI模型来说，最困难的情况就是这种从未见过的小概率“长尾”事件。

Aidan Gomez，Cohere的联合创始人，在与人合著的一篇开创性论文中介绍了 许多基础模型的底层架构“transformer”。我们在 2021年领投了该公司的A轮融资，因为我们认为会有一小批服务供应商像十年前的云计算巨头一样涌现，这些服务供应商将解决模型开发、管理和托管等常常令公司难以负担的任务。

在基础模型能像人类一样真正理解事物意义之前，我们还有很长的路要走。但基础模型正在以惊人的速度进步，在不久的将来，它们的智能将接近我们人类应对任务的知识能力。

*声明：原文来自 Index Ventures 官网，如有侵权，可提议撤稿

▾ 好文征集

欢迎大家添加 OpenBMB 微信，即可进入大模型社群交流文章，也可分享推荐更多AI领域的好文！文章时效不限，既可以是讨论密集的的热点时文，也可以是历久弥香的经典前文~