突触是神经网络的「桥梁」。今日,Cerebras 宣布世界首个「大脑级」AI 集群,能够训练120万亿参数模型,击败人脑百万亿个突触!

Cerebras 的创始人兼首席执行官Andrew Feldman表示,最新的处理器如此强大的原因就是,在晶片上打造而不是单个芯片上。Cerebras系统由其第二代晶圆WSE-2提供动力。WSE-2 有2.6万亿个晶体管和85万个AI优化内核,再次刷新记录

除了用到最大芯片,Cerebras还揭露了4项新技术:

  • Cerebras Weight Streaming:分解计算和内存,首次实现了在芯片外存储模型参数,同时提供与在芯片上相同的训练和推理性能。
  • Cerebras MemoryX:启用百万亿参数模型。
  • Cerebras SwarmX:提供更大、更高效的集群。
  • Selectable Sparsity:缩短时间。