OpenAI的新业务模式，卖Model instance，26万4千美元一年。

企业无需自己从头训练一个大模型，直接在OpenAI的基础上微调就能得到自己的模型。

Foundry 允许客户使用专用容量运行OpenAI的新型机器学习模型，包括GPT-3.5。根据用户在Twitter上亮出的早期截屏画面，OpenAI即将发布的这款产品名为Foundry，号称“专为运行更大工作负载的尖端客户而设计”。

社交媒体上分享的截图显示，该公司于 2 月 17 日更新了公司产品简介，确认其推出。据报道此消息的 Tweet 所有者 Travis Fischer 称，Foundry 允许客户以专用容量规模运行 OpenAI 模型推断。

 

这个Model instance的好处是它完全归属于你，你可以按照自己的要求，对它进行有针对的微调，使它具备你需要的专业能力。

Foundry能够支持大规模推理，用户可以完全控制模型配置与性能设定。Foundry还将提供服务水平承诺，例如正常运行时间和按期工程支持。可以肯定的是，这类实例不会太便宜。

实例定价表中列出的文本生成模型之一具有32K的最大上下文窗口（所谓上下文窗口，是指模型在生成其他文本之前所能考虑的背景信息；上下文窗口越大，则代表模型能够「记住」之前的更多文本内容）

OpenAI的最新文本生成模型GPT-3.5具有4K最大上下文窗口，这暗示着此处的新模型很可能是大家期待已久的GPT-4——或者说3.5到4.0之间的某个过渡版本。

 

Foundry功能包括：

  • 为用户静态分配专用容量，并提供可控的可预测环境。
  • 能够监视特定实例，并使用 OpenAI使用的相同工具和仪表板优化共享容量模型。
  • 能够实现优化工作负载的所有吞吐量、延迟和成本效益，包括缓存和延迟降低吞吐量的权衡。
  • 对模型的确切快照进行控制，允许用户决定是否使用最新的模型快照。

 

更多内容来自于

1）https://cognitiverevolution.substack.com/p/78a8bc84-59ab-47d2-bcdc-dfda00131549

2）https://mp.weixin.qq.com/s/cPH1edFvtkfzPiZ78N4xrA 

3）https://mp.weixin.qq.com/s/-RogsT7tlwKxlsS9uN3hjg

4）https://mp.weixin.qq.com/s/NGXUls453rgEHu8yMNBR0Q 

内容中包含的图片若涉及版权问题，请及时与我们联系删除