2021年预计将会推出的GPT-4会有哪些功能？

OpenAI联合创始人、首席科学家Ilya Sutskever（他也是AlexNet的作者之一）在吴恩达编辑的The Batch周刊2020年终特刊里写道（中文转自机器之心的翻译）：

过去一年，通用模型首次产生了经济价值。GPT-3 的出世表明大型语言模型具备令人惊叹的语言能力，并且能够执行大量有用的任务。我期望接下来诞生的模型能够更强，2021 年的最佳模型或将让 2020 年的最佳模型相形逊色，同时也将解锁今天难以想象的许多应用。

2021 年，语言模型将开始了解视觉世界。文本本身可以表达关于世界的大量信息，但它并不完备，因为我们也生活在视觉世界中。下一代 AI 模型将能够编辑文本输入并生成图像，我们也希望它们能够借由其见过的图像而更好地理解文本。

联合处理文本和图像的能力将使模型变得更聪明。人类接触的不仅是阅读到的内容，还有看到和听到的内容。如果模型可以处理类似的数据，那么它们就能以类似人类的方式学习概念。这个灵感尚未得到证实，我希望 2021 年能够看到这方面的进展。

模型更加聪明的同时，我们也要保证其安全性。GPT-3 能够处理多项任务，但它并不像我们认为的那样可靠。我们希望给模型一项任务后，模型能够返回无需更改或确认的输出。在 OpenAI，我们提出了一种新方法：基于人类反馈的强化学习。该方法允许人类裁判利用强化信号用我们想要的方式指导模型的行为，这样我们就可以强化期望的行为，抑制不想要的行为。

GPT-3 等系统被动地吸收信息。它们吸收数据并内化其相关性，当训练数据集包含我们不希望模型模仿的行为样本时，这是个大问题。而使用基于人类反馈的强化学习后，我们可以让语言模型展示出多种行为，人类裁判就这一行为是否符合期望给出反馈。我们发现 GPT-3 语言模型能够快速从这些反馈中学习，这样我们就可以利用相对少的人类交互快速精确地调整模型行为。

让语言模型处理文本和图像这两种数据模态，并通过与人类的交互进行训练后，我们看到了一条路径，使模型变得更强大、更值得信任，因而对更多人具备更大用途。这条路径将在 2021 年提供更多令人振奋的发展前景。

其实也不意外，毕竟2020年2月份MIT Tech Review的文章已经说过：

One of the biggest secrets is the project OpenAI is working on next. Sources described it to me as the culmination of its previous four years of research: an AI system trained on images, text, and other data using massive computational resources. A small team has been assigned to the initial effort, with an expectation that other teams, along with their work, will eventually fold in. On the day it was announced at an all-company meeting, interns weren’t allowed to attend. People familiar with the plan offer an explanation: the leadership thinks this is the most promising way to reach AGI. 最大的秘密之一是OpenAI接下来正在研究的项目。 消息人士称，这是OpenAI前四年研究的集大成：使用大量计算资源对图像、文本和其他数据训练而成的一个AI系统。 最初的任务给了一个小团队，其他团队最终也会将自己的工作纳入进来。宣布此事的公司全体会议，实习生都不允许参加。熟悉该计划的人提供了一个解释：领导层认为这是实现AGI最有希望的方式。

而人反馈强化学习方面的研究，OpenAI之前也发表过相关的工作：Learning to Summarize with Human Feedback。

OpenAI的CEO Sam Altman在Twitter上也语气乐观地表示：2020年技术进展很大，从我了解的一点情况来看，2021年将更好！

他还透露，未来五年可能有巨大进展的技术领域是：

  • General-purpose AI
  • Energy (particularly fission and fusion)
  • VR/AR (gets to "real trend" phase)
  • Bio (meaningful progress ending many diseases, at least one big gain for longevity, psychedelic medicine)
  • Silicon

GPT系列真能给我们带来通用人工智能吗？大家怎么看？

内容中包含的图片若涉及版权问题，请及时与我们联系删除