简介：rct AI提出了一种BERT适用的改进层规范化方法，用于训练具有1000层、5200万参数的BERT模型，它是当前已知最深的BERT模型。rct AI提出了一种GPT适用改进层规范化方法，用于训练具有1000层、8.15亿参数的GPT模型，它是当前已知最深的GPT模型。模型在英文200G数据集，利用Nvidia-V100显卡集群训练一周而成。未来rct AI将利用更大算力，训练更大参数量的千层BERT与千层GPT模型。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
举报类型（必选）
举报详情（选填）
0/200
沙发等你来抢
评论
沙发等你来抢