近日，GPT-3在国内外引起了火爆的关注，各路大神都对它玩起了图灵测试，不知道小伙伴们有没有亲手实践一波，但是据说GPT-3的API申请列表早已满了，需要做维护才能后期开放。

那不如我们直接瞻仰一下GPT-4吧。

啊这？难道GPT-4已经诞生了？

并没有，但是我们今天来讨论一下实现GPT-4所需要的大概20万亿参数量的可行性。

reddit近日有一个议题引起了热烈讨论，楼主u/AxeLond称自己发现一篇论文（ZeRO）能基本解释从GPT-2到GPT-3的增益，即从15亿参数增加到1,750亿参数，是如何实现的。语言模型的性能与参数量、数据集规模和训练吞吐量存在简单的幂律关系。他甚至据此推出了下一代GPT即GPT-4的参数量、训练数据量和训练费用，规模惊人，称得上是“国家级”语言模型，即便是巨头科技企业都很可能负担不起GPT-4的训练。

内容中包含的图片若涉及版权问题，请及时与我们联系删除