今天，艾伦人工智能研究所很高兴地宣布，我们正在着手创建一个开放的、最先进的生成语言模型：AI2 OLMo（开放语言模型）。OLMo的规模将与其他最先进的大型语言模型具有700亿个参数，预计将在2024年初进行。

https://blog.allenai.org/announcing-ai2-olmo-an-open-language-model-made-by-scientists-for-scientists-ab761e4e9b76 

OLMo将是一个独特的开放语言模型，旨在通过提供有关模型创建各个方面的访问和教育，使研究界受益。AI2正在与AMD和CSC合作开发OLMo，使用全AMD处理器驱动的LUMI预exascale超级计算机的新GPU部分——世界上最环保的超级计算机之一。

OLMo将成为人工智能研究界许多人首次直接研究语言模型的新途径。我们将使OLMo项目的所有元素都可以访问——不仅我们的数据可用，用于创建数据的代码也将可用。我们将开源模型、训练代码、训练曲线和评估基准。我们还将公开分享和讨论围绕创建该模型的道德和教育考虑因素，以帮助指导对语言建模技术的理解和负责任的发展。

OLMo各个方面的广泛可用性将使研究界能够直接接受我们创造的东西，并努力改进它。我们相信，数百万人希望更好地理解和参与语言模型，我们的目标是创造他们实际可以创造的环境，为每个人带来更快、更安全的进步。我们的目标是合作构建世界上最好的开放语言模式——在Twitter、博客和时事通讯上关注我们，成为这项重要事业的一部分。

OLMo项目负责人、AI2 NLP研究高级总监Hannaneh Hajishirzi说：“考虑到科学界，OLMo将专门用于推进语言模型的科学。”“OLMo将是第一个专门为科学理解和发现而设计的语言模型。”

AMD人工智能解决方案高级总监Ian Ferreria说：“AI2在自然语言处理（NLP）方面的深厚传统，以及AMD通过高性能计算工作支持科学界的历史，与OLMo完美匹配。”“有了面向科学的AI2的新OLMo计划，我们有能力使用由AMD EPYC™ CPU和AMD Instinct™加速器驱动的LUMI超级计算机的令人印象深刻的功能，将我们的知识扩展到生成人工智能。”

一个真正开放的模型

作为一个透明、协作、非营利的机构，我们完全有能力建立一个真正开放且对人工智能研究社区有价值的语言模型。我们的OLMo努力将包括不仅仅是构建一个开放的语言模型——我们正在特意构建一个平台，允许研究社区接受我们创建的每个组件，并自行使用或寻求改进它。我们为OLMo创建的所有内容都将公开提供、记录和可复制，但只有非常有限的例外，并有适当的许可。作为OLMo项目的一部分发布的工件将包括训练数据、代码、模型权重、中间检查点和消融。作为该项目的一部分，模型及其工件的发布策略正在开发中。我们还计划构建演示，并发布来自同意用户的交互数据。

推进人工智能研究

当我们构建OLMo时，我们将做出决定，使最终模型尽可能可用和高效，而不会牺牲性能。我们的目标是让人工智能研究界的全领域都能使用我们的模型，增加观点的多样性和语言模型开发的改进速度。我们还将构建和发布迄今为止最严格研究和记录的模型训练数据集——这将包括预训练数据、指令数据和人类互动数据。

道德和教育

通过OLMo，我们正在对道德和开放性采取务实的方法。我们将以透明的方式领导，记录我们在考虑创建和发布OLMo模型的道德和社会影响时做出的决定、考虑因素和权衡。在此过程中，我们将通过分享我们的进展、描述我们的挑战和解释我们的发现来促进人工智能知识和理解。OLMo团队正在与AI2的法律部门和外部法律专家密切合作，并在模型构建过程中纳入了多个检查点，以评估和重新评估隐私和知识产权问题。

伙伴关系和支持

除了与AMD和LUMI在硬件和计算资源方面的合作外，AI2还与包括Surge AI和MosaicML在内的组织合作，以获取数据和培训代码。我们成立了一个道德审查委员会，包括内部和外部顾问，以在整个过程中提供反馈。OLMo模型和API将成为更广泛的社区更好地理解和参与人工智能革命的强大新资源。AI2欢迎符合我们人工智能价值观以实现共同利益的组织的支持和伙伴关系，并投资于构建负责任、有益的人工智能技术——请在这里告诉我们您的兴趣。

OLMo项目负责人、AI2 NLP研究高级总监Noah Smith指出：“OLMo将是一件特别的事情。”“在许多人急于利用生成语言模型的商业潜力的环境中，AI2具有独特的能力，将我们的世界级专业知识与AMD和LUMI的世界级硬件结合在一起，以产生明确设计的东西，供科学家和研究人员参与、学习和使用，以创造下一代安全、有效的人工智能技术。”

CSC科技总监Pekka Manninen补充说：“生成人工智能具有成为这十年突破性技术的潜力，类似于过去几十年搜索引擎和智能手机如何渗透到我们的社会。开放、透明和可解释的法学硕士对这项技术的民主化至关重要。我们很自豪能成为这次合作的一部分，因为它具有巨大的社会影响力和技术雄心水平，并很高兴我们能用LUMI超级计算机和我们的专业知识为之做出贡献。像LUMI这样的超级计算机可以加速LLM培训一个数量级，LUMI基础设施的许多其他功能将其定位为自然语言处理的领先平台。”

AMD、AMD Arrow徽标、EPYC、AMD Instinct及其组合是Advanced Micro Devices, Inc.的商标。