AI21 Labs是以色列几位AI名人Yoav Shoham(斯坦福大学教授)、Ori Goshen(CrowdX创始人)和 Amnon Shashua(Mobieye创始人)2017年联合发起的公司,专攻语言模型。已融资5450万美元。

2021年8月发布了1780亿参数的自回归大模型Jurassic 1

从左到右:Yoav Shoham、Ori Goshen 和 Amnon Shashua

近日他们又发布了新版本大模型 Jurassic-X,是MRKL系统的一个实现,全称为Modular Reasoning, Knowledge and Language(读音“miracle”)。它针对之前大模型的一些局限(无法访问公司数据库,无法访问最新信息,无法推理,而且更新成本高得令人望而却步),基于Jurassic-1,做了改进,比较概要的架构如下:

可以看出,Jurassic-X将问题中不同的部分分别路由到不同模块,解决如何在大模型中结合知识的问题。而且知识可以兼顾时效性、私有性、透明性、数学运算等等原来大模型做不太好的问题。

效果如何?看看与其他大模型的比较。

利用数据库中的私有数据

更新的信息

计算能力

复合问题

透明、伦理问题(两个克林顿)

技术细节可以参考MRKL论文(PDF)和之前充分利用“冻结”大模型的研究“Standing on the Shoulders of Giant Frozen Language Models”。

试用入口: https://studio.ai21.com/jurassic-x (需要注册)

内容中包含的图片若涉及版权问题,请及时与我们联系删除