GPT-4发布

我们创建了GPT-4，这是OpenAI扩大深度学习的最新里程碑。GPT-4是一个大型多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上表现出人类水平的表现。例如，它通过了模拟律师考试，分数在前10%的考生身上；相比之下，GPT-3.5的分数在底层10%左右。我们花了6个月的时间，利用对抗性测试计划和ChatGPT的经验教训，迭代调整GPT-4，在事实性、可操纵性和拒绝走出护栏方面取得了有史以来最好的结果（尽管远非完美）。

在过去的两年里，我们重建了整个深度学习堆栈，并与Azure一起，从头开始为我们的工作量共同设计了一台超级计算机。一年前，我们训练了GPT-3.5作为该系统的首次“测试运行”。我们发现并修复了一些错误，并改进了我们的理论基础。因此，我们的GPT-4训练运行是（至少对我们来说！）前所未有的稳定，成为我们第一个能够提前准确预测其训练表现的大型模型。随着我们继续专注于可靠的扩展，我们的目标是磨练我们的方法，以帮助我们越来越提前地预测和准备未来的能力——我们认为这对安全至关重要。

我们正在通过ChatGPT和API（带候补名单）发布GPT-4的文本输入功能。为了准备图像输入能力，以便更广泛的可用性，我们正在与单个合作伙伴密切合作。我们还在开源OpenAI Evals，这是我们自动评估人工智能模型性能的框架，允许任何人报告我们模型中的缺点，以帮助指导进一步改进。

在随意的谈话中，GPT-3.5和GPT-4之间的区别可能是微妙的。当任务的复杂性达到足够的阈值时，差异就出来了——GPT-4比GPT-3.5更可靠、更有创造力，并且能够处理更细致的指令。

为了了解这两个模型之间的区别，我们在各种基准上进行了测试，包括模拟最初为人类设计的考试。我们继续使用最新的公开测试（在奥运会和AP免费回答问题的情况下）或购买2022-2023版的练习考试。我们没有为这些考试做具体的培训。模型在培训期间看到了考试中的少数问题，但我们认为结果具有代表性——详情请参阅我们的技术报告。

内部参考¹

我们还根据为机器学习模型设计的传统基准评估了GPT-4。GPT-4的性能大大优于现有的大型语言模型，以及大多数最先进的（SOTA）模型，这些模型可能包括特定于基准的制作或额外的培训协议：

许多现有的ML基准都是用英语编写的。为了获得其他语言的初始能力感，我们使用Azure翻译将MMLU基准（一套14,000个多项选择问题，涵盖57个科目）翻译成各种语言（见附录）。在测试的26种语言中的24种语言中，GPT-4的英语性能优于GPT-3.5和其他LLM（Chinchilla，PaLM），包括拉脱维亚语、威尔士语和斯瓦希里语等低资源语言：

我们还一直在内部使用GPT-4，对支持、销售、内容审核和编程等功能有很大影响。我们还用它来帮助人类评估人工智能输出，开始我们调整战略的第二阶段。

GPT-4可以接受文本和图像的提示，这与仅文本设置平行，让用户指定任何视觉或语言任务。具体来说，它生成文本输出（自然语言、代码等），给定由穿插的文本和图像组成的输入。在一系列领域（包括带有文本和照片的文档、图表或屏幕截图），GPT-4表现出与纯文本输入类似的功能。此外，它可以通过为纯文本语言模型开发的测试时间技术进行增强，包括少数镜头和思想链提示。图像输入仍然是研究预览，不公开。

我们通过在一套狭窄的标准学术愿景基准上评估GPT-4的表现来预览它。然而，这些数字并不完全代表其能力的程度，因为我们不断发现模型能够处理的令人兴奋的新任务。我们计划很快发布进一步的分析和评估数字，以及对测试时间技术效果的彻底调查。

内部脚注^A[A]

我们一直在研究我们帖子中概述的关于定义人工智能行为的计划的每个方面，包括可操作性。开发人员（以及很快的ChatGPT用户）现在可以通过在“系统”消息中描述这些方向来规定他们的人工智能的风格和任务，而不是具有固定冗长、语气和风格的经典ChatGPT个性。系统消息允许API用户在范围内显著自定义其用户体验。我们将在这里不断改进（特别是知道系统消息是“越狱”当前模型的最简单方法，即遵守界限并不完美），但我们鼓励您尝试一下，并告诉我们您的想法。

尽管具有功能，但GPT-4与早期的GPT型号具有类似的局限性。最重要的是，它仍然不完全可靠（它“幻觉”事实并犯推理错误）。在使用语言模型输出时，特别是在高风险上下文中，应非常小心，其精确的协议（如人工审查、使用其他上下文接地或完全避免高风险使用）与特定用例的需求相匹配。

虽然仍然是一个真正的问题，但与以前的模型相比，GPT-4显著减少了幻觉（这些模型本身在每次迭代中都在改进）。在我们的内部对抗性事实评估中，GPT-4的得分比我们最新的GPT-3.5高40%：

我们在TruthfulQA等外部基准方面取得了进展，该基准测试了模型将事实与一组对抗性选择的不正确陈述区分开来的能力。这些问题与具有统计吸引力的事实错误答案配对。

GPT-4基本模型在这项任务上只比GPT-3.5稍微好一点；然而，在RLHF后培训（应用我们与GPT-3.5相同的流程）后，存在很大的差距。检查下面的一些例子，GPT-4拒绝选择常见的谚语（你不能教老狗新技巧），但它仍然会错过微妙的细节（埃尔维斯·普雷斯利不是演员的儿子）。

该模型的输出可能存在各种偏见——我们在这些方面取得了进展，但还有更多事情要做。根据我们最近的博客文章，我们的目标是使我们构建的人工智能系统具有合理的默认行为，这些行为反映了广泛的用户价值观，允许这些系统在广泛的范围内进行定制，并就这些界限应该是什么获得公众意见。

GPT-4通常缺乏对绝大多数数据中断（2021年9月）后发生的事件的了解，并且没有从其经验中吸取教训。它有时会犯简单的推理错误，这些错误似乎在这么多领域都无法胜任，或者在接受用户明显的虚假陈述时过于容易受骗。有时，它可能会像人类一样在难题上失败，例如将安全漏洞引入到它产生的代码中。

GPT-4的预测也可能是错误的，在可能出错时不注意仔细检查工作。有趣的是，基础预训练模型经过高度校准（其对答案的预测置信度通常与正确概率相匹配）。然而，通过我们目前的培训后过程，校准减少了。

我们一直在迭代GPT-4，使其从培训开始就更安全、更一致，努力包括选择和过滤培训前数据、评估和专家参与、模型安全改进以及监测和执法。

GPT-4具有与以前的模型类似的风险，例如产生有害的建议、错误代码或不准确的信息。然而，GPT-4的额外能力导致了新的风险表面。为了了解这些风险的程度，我们聘请了来自人工智能对齐风险、网络安全、生物风险、信任和安全以及国际安全等领域的50多名专家来对抗性地测试该模型。他们的发现特别使我们能够在需要专业知识来评估的高风险领域测试模型行为。这些专家的反馈和数据反馈到我们对模型的缓解和改进中；例如，我们收集了额外的数据，以提高GPT-4拒绝如何合成危险化学品的请求的能力。

GPT-4在RLHF培训期间纳入了额外的安全奖励信号，通过培训模型拒绝此类内容的请求来减少有害输出（根据我们的使用指南的定义）。奖励由GPT-4零弹分类器提供，根据安全相关提示判断安全边界和完成风格。为了防止模型拒绝有效请求，我们从各种来源（例如，标记生产数据、人类红色组合、模型生成的提示）收集不同的数据集，并在允许和不允许的类别上应用安全奖励信号（具有正值或负值）。

与GPT-3.5相比，我们的缓解措施显著改善了GPT-4的许多安全性能。与GPT-3.5相比，我们将模型响应不允许内容请求的趋势降低了82%，GPT-4根据我们的政策响应敏感请求（例如医疗建议和自我伤害）的频率增加了29%。

总体而言，我们的模型级干预增加了引发不良行为的难度，但这样做仍然是可能的。此外，仍然存在“越狱”来生成违反我们使用准则的内容。随着人工智能系统的“每令牌风险”的增加，在这些干预措施中实现极高的可靠性将变得至关重要；目前，重要的是用部署时间安全技术来补充这些限制，如监控滥用情况。

GPT-4和继任者模型有可能以有益和有害的方式对社会产生重大影响。我们正在与外部研究人员合作，以改善我们理解和评估潜在影响的方式，并对未来系统中可能出现的危险能力进行评估。我们很快就会分享更多关于GPT-4和其他人工智能系统的潜在社会和经济影响的想法。

与之前的GPT模型一样，GPT-4基础模型被训练为预测文档中的下一个单词，并使用公开数据（如互联网数据）以及我们许可的数据进行训练。数据是一个网络规模的数据语料库，包括数学问题的正确和不正确的解决方案，弱而强烈的推理，自相矛盾和一致的陈述，并代表了各种各样的意识形态和想法。

因此，当提示问题时，基本模型可以以各种可能与用户意图相去甚远的方式做出回应。为了使其与护栏内用户的意图保持一致，我们使用人工反馈强化学习（RLHF）微调模型的行为。

请注意，该模型的能力似乎主要来自培训前过程——RLHF不会提高考试成绩（如果没有积极的努力，它实际上会降低考试成绩）。但模型的指导来自培训后的过程——基础模型需要及时的工程，甚至知道它应该回答问题。

GPT-4项目的一大重点是构建一个可预测的深度学习堆栈。主要原因是，对于像GPT-4这样的大型训练运行，进行广泛的特定模型调整是不可行的。我们开发的基础设施和优化在多个尺度上具有非常可预测的行为。为了验证这种可扩展性，我们通过从使用相同方法训练但使用10,000倍的计算量进行推断，提前准确预测了GPT-4在内部代码库（不是训练集的一部分）上的最终损失：

现在我们可以准确预测我们在培训（损失）期间优化的指标，我们开始开发方法来预测更多可解释的指标。例如，我们成功预测了HumanEval数据集子集的通过率，从计算少1000倍的模型推断：

有些能力仍然很难预测。例如，逆向缩放奖是为了寻找一个随着模型计算的增加而变得更糟的指标的竞赛，事后疏忽是获胜者之一。就像最近的另一个结果一样，GPT-4扭转了趋势：

我们认为，准确预测未来的机器学习能力是安全的重要组成部分，相对于其潜在影响，它没有得到足够的关注（尽管我们受到了几个机构努力的鼓励）。我们正在加大努力，开发方法，为社会提供更好的指导，了解对未来系统的期望，我们希望这成为该领域的共同目标。

我们是开源的OpenAI Evals，我们的软件框架用于创建和运行评估GPT-4等模型的基准，同时逐个样本检查其性能样本。我们使用Evals来指导模型的开发（既识别缺点又防止回归），我们的用户可以将其用于跟踪跨模型版本（现在将定期发布）和不断发展的产品集成的性能。例如，Stripe使用Evals来补充他们的人工评估，以衡量其GPT驱动的文档工具的准确性。

由于代码都是开源的，Evals支持编写新类来实现自定义评估逻辑。然而，根据我们自己的经验，许多基准遵循为数不多的“模板”之一，因此我们还包括了内部最有用的模板（包括“模型分级评估”的模板——我们发现GPT-4出人意料地能够检查自己的工作）。一般来说，构建新评估的最有效方法是实例化这些模板之一，同时提供数据。我们很高兴看到其他人可以使用这些模板和更普遍的Evals构建什么。

我们希望Evals成为共享和众包基准的工具，代表最广泛的失败模式和困难任务。作为以下一个例子，我们创建了一个逻辑谜题评估，其中包含GPT-4失败的十个提示。Evals也与实施现有基准兼容；我们包括了几个实现学术基准的笔记本和一些集成（小子集）CoQA的变体作为例子。

我们邀请每个人使用Evals来测试我们的模型并提交最有趣的示例。我们相信Evals将是使用和构建我们模型过程的一个组成部分，我们欢迎直接贡献、问题和反馈。

ChatGPT Plus订阅者将在chat.openai.com上获得GPT-4访问权限，并有使用上限。我们将根据实际需求和系统性能来调整确切的使用上限，但我们预计产能将受到严重限制（尽管我们将在未来几个月扩大规模并进行优化）。

根据我们看到的流量模式，我们可能会为更大容量的GPT-4使用引入新的订阅级别；我们也希望在某个时候提供一些免费的GPT-4查询，以便那些没有订阅的人也可以尝试。

要访问GPT-4 API（使用与gpt-3.5-turbo相同的ChatCompletions API），请注册我们的候补名单。我们今天将开始邀请一些开发人员，并逐步扩大规模，以平衡容量和需求。如果您是研究人工智能或人工智能对齐问题的社会影响的研究人员，您也可以通过我们的研究人员访问计划申请补贴访问。

一旦您获得访问权限，您可以向gpt-4模型发出纯文本请求（图像输入仍处于有限的alpha状态），随着我们制作新版本，我们将自动更新到我们推荐的稳定模型（您可以通过调用gpt-4-0314来固定当前版本，我们将支持到6月14日）。定价为每1k个提示令牌0.03美元，每1k完成令牌0.06美元。默认速率限制为每分钟4万个令牌和每分钟200个请求。

gpt-4的上下文长度为8,192个令牌。我们还提供对32,768上下文（约50页文本）版本gpt-4-32k的有限访问，该版本也将随着时间的推移自动更新（当前版本gpt-4-32k-0314，也支持到6月14日）。定价为每1K提示令牌0.06美元，每1k完成令牌0.12美元。我们仍在长期改进模型质量，并希望就其在您的用例中的表现提供反馈。我们正在根据容量以不同的速率处理8K和32K发动机的请求，因此您可能会在不同的时间获得访问权限。

我们期待GPT-4通过为许多应用程序提供动力，成为改善人们生活的宝贵工具。还有很多工作要做，我们期待通过社区建设的集体努力来改进这个模型，探索和促进这个模型。

更多信息：阅读论文 | 查看系统卡 | 尝试ChatGPT Plus | 加入API候补名单 | 重新观看开发人员演示直播 | 为OpenAI评估做出贡献

MMLU问题示例，翻译成其他语言。注意，我们使用一致的选择令牌（A-D）：