上海数字大脑研究院发布国内首个多模态决策大模型DB1，对标Gato

近日，上海数字大脑研究院（以下简称 “数研院”）推出首个数字大脑多模态决策大模型（简称 DB1），填补了国内在此方面的空白，进一步验证了预训练模型在文本、图 - 文、强化学习决策、运筹优化决策方面应用的潜力。目前，DB1代码我们已开源在Github。

项目链接：https://github.com/Shanghai-Digital-Brain-Laboratory/BDM-DB1

此次，数研院推出的 DB1，主要对 Gato 进行了复现与验证，并从网络结构与参数量、任务类型与任务数量两方面尝试进行了改进：

• 参数量与网络结构：DB1 参数量达 12.1 亿。在参数量上尽量做到与 Gato 接近。整体来说，数研院使用了与 Gato 类似的结构（相同的 Decoder Block 数量、隐层大小等），但在 FeedForwardNetwork 中，由于 GeGLU 激活函数会额外引入 1/3 的参数量，数研院为了接近 Gato 的参数量，使用 4 * n_embed 维的隐层状态经过 GeGLU 激活函数后变成 2 * n_embed 维的特征。在其他方面，我们与 Gato 的实现一样在输入输出编码端共享了 embedding 参数。不同于 Gato，在 layer normalization 的选择上我们采用了 PostNorm 的方案，同时我们在 Attention 上使用混合精度计算，提高了数值稳定性。

• 任务类型与任务数量：DB1 的实验任务数量达 870，较 Gato 提升了 44.04%，较 Gato 在 >=50% 专家性能上提升 2.23%。具体任务类型上，DB1 大部分继承了 Gato 的决策、图像和文本类任务，各类任务数量基本维持一致。但在决策类任务方面，DB1 另外引入了 200 余个现实场景任务，即 100 和 200 节点规模的旅行商问题（TSP，此类任务在所有中国主要城市随机选择 100-200 个地理位置作为结点表征）求解。

内容中包含的图片若涉及版权问题，请及时与我们联系删除