HuggingFace与ServiceNow Research共同发起了一个新的代码大模型项目BigCode，与其姊妹项目BigScience一样，也是一个开放的研究项目。

项目任务

大型语言模型（LLMs）正迅速成为人工智能所有研究领域的一个重要工具。这些大型预训练模型的一个显著特点是，它们可以适应各种各样的语言任务，通常只需要很少的域内数据。

BigCode专注于为代码开发最先进的LLMs。代码LLMs能够完成和合成代码，包括从其他代码片段和自然语言描述中获得的代码，并在广泛的领域、任务和编程语言中发挥作用。例如，这些模型可以协助专业和公民开发人员编码新的应用程序。

BigCode邀请人工智能研究人员就以下主题进行合作：

  • 一个有代表性的代码LLMs评估套件，涵盖不同的任务和编程语言
  • 为代码LLMs提供负责任的数据管理和开发
  • 为LLMs提供更快的训练和推理方法

该项目受到BigScience的启发，BigScience是一个开放的科学合作项目，在2022年7月发布了世界上最大的开放多语种语言模型。BigCode旨在遵循以及建立新的负责任的人工智能实践来训练和分享大型语言模型，欢迎人工智能研究人员的贡献，并努力实现语言模型开发过程的公开性和透明度。

项目组织

BigCode由ServiceNow Research和HuggingFace领导。两个组织都投入了研究和工程时间，以确保合作顺利进行，并朝着预先设定的目标取得进展。ServiceNow Research也为大规模训练提供了他们的计算集群。

项目正在招募贡献者。核心成员将其大部分工作时间用于BigCode项目，而贡献者则就项目的特定方面提供建议或承担较小的任务。

其他信息 

  • 通过Github管理该项目
  • 使用Slack进行所有的内部交流
  • 用Megatron-LM的一个克隆来训练模型
  • 在Github上托管所有的代码存储库
  • 在HuggingFace上托管所有模型的权重和数据集

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除