近日，OpenAI发表了有关定制GPT3的blog，对应API文档和blog内容如下。

【作者】Rachel Lim、Michael Wu、Luke Miller

【API文档】 https://beta.openai.com/docs/guides/fine-tuning 

开发人员现在可以在他们自己的数据上对GPT-3进行微调，创建一个适合他们应用的定制版本。定制使GPT-3在更广泛的使用情况下变得可靠，并使模型的运行更加便宜和快速。

你可以使用几乎任何形状和大小的现有数据集，或根据用户反馈逐步增加数据。通过微调，一个客户能够将正确输出率从83%提高到95%。另一个客户通过每周添加他们产品的新数据，将错误率降低了50%。

要开始工作，只需在OpenAI命令行工具中用你提供的文件运行一个命令。你的自定义版本将开始训练，然后在我们的API中立即可用。

去年，我们训练了GPT-3并以API形式提供。只需几个样本，GPT-3就可以执行各种各样的自然语言任务，这个概念被称为小样本学习或提示(prompt)设计。定制GPT-3可以产生更好的结果，因为你可以提供比提示设计所能提供的更多的样本。

用户可以用一个命令为你的应用定制GPT-3，并立即在我们的API中使用它。

  • openai api fine_tunes.create -t

只需要不到100个样本就可以开始感到微调GPT-3的收益，而且随着你添加更多的数据，性能会继续提高。在去年6月发表的研究中，我们展示了用不到100个样本进行微调可以提高GPT-3在某些任务上的性能。openAI还发现，结果质量会随着样本量翻倍有线性提高。

对于我们最具挑战性的研究数据集之一，即小学数学问题。下图展示了两种规模的GPT-3模型，Curie和Davinci，在来自我们最具挑战性的研究数据集之一的8000个样本上进行了微调，我们比较了这些模型在创建10个完成度时的解题能力。对GPT-3进行微调后，准确率比提示设计的情况下提高了2到4倍。

定制GPT-3提高了输出的可靠性，提供了更一致的结果，用户可以在生产案例中信赖。一位客户发现，定制GPT-3后，不可靠的输出频率从17%降至5%。由于GPT-3的定制版本是为您的应用量身定做的，所以提示可以更短，降低成本并改善延迟。

无论是文本生成、总结、分类，还是GPT-3能够执行的任何其他自然语言任务，定制GPT-3将提高性能。

被定制GPT3赋能的APP们

Keeper Tax帮助独立承包商和自由职业者纳税。在客户链接他们的财务账户后，Keeper Tax使用各种模型来提取文本并对交易进行分类。利用分类数据，Keeper Tax可以识别出容易遗漏的税务核销，并帮助客户直接从应用程序中报税。通过定制GPT-3，Keeper Tax能够不断改善结果。Keeper Tax每周一次增加大约500个新的训练实例来微调他们的模型，这使得每周的准确率提高了约1%，准确率从85%提高到93%。


Viable帮助公司从客户的反馈中辅助决策。通过定制GPT-3，Viable能够将大量的非结构化数据转化为可读的自然语言报告，突出标亮其中的客户投诉、赞美、请求和问题。定制GPT-3提高了Viable的报告的可靠性。通过使用定制版的GPT-3，总结客户反馈的准确性从66%提高到90%。输出结果是有形的、直观的信息，客户可以使用这些信息来指导他们的产品决策。


Sana实验室是人工智能开发和应用于学习领域的全球领导者。Sana学习平台通过利用最新的ML突破为每个人定制内容，为企业提供个性化的学习体验。通过用他们的数据定制GPT-3，Sana的问题和内容生成从语法上正确但一般的回答变成了高度准确的输出。这产生了60%的改进，从根本上为他们的学习者提供了更加个性化和有效的体验。


Elicit是一个人工智能研究助理工具，它帮助人们利用学术论文的发现直接回答研究问题。该工具从庞大的研究论文语料库中找到最相关的摘要，然后应用定制版的GPT-3来生成该论文对该问题的观点。定制版的GPT-3在三个重要的衡量标准上优于提示设计：结果更容易理解（提高了24%），更准确（提高了17%），以及整体上更好（提高了33%）。

如何为你的应用定制GPT3

1. 安装

在终端上安装openai客户端

pip install --upgrade openai

将API密钥设置为环境变量

export OPENAI_API_KEY =

2. 训练模型

在一个演示数据集上对Ada模型进行微调，将帮助信息从西班牙语翻译成英语

openai api fine_tunes.create -m ada --n_epochs 2 \
    -t https://cdn.openai.com/API/train-demo.jsonl

3.使用模型

使用你的模型进行翻译

openai api completions.create -m \ 
--max-tokens 30 --temperature 0 --stop ”###” \  
-p $‘Conecte la PS3 y vaya a Configuración>Configuraciones de Red, seleccione la red y escriba sus credenciales.\nEnglish translation:’

内容中包含的图片若涉及版权问题，请及时与我们联系删除