近日,Hugging Face 开源了一个新的程序包「Optimum」,旨在为 Transformer 的工业生产提供最佳的工具包,使得可以在特定的硬件上以最高的效率训练和运行模型。
项目地址:https://github.com/huggingface/blog/blob/master/hardware-partners-program.md
Optimum 的推出正是为了「简化这一工作,提供面向高效人工智能硬件的性能优化工具,与硬件合作者合作,赋予机器学习工程师对其机器学习的优化能力。」
通过 Transformer 程序包,研究人员和工程师可以更容易地使用最先进的模型,无需考虑框架、架构、工作流程的复杂性;工程师们还可以轻松地利用所有可用硬件的特性,无需考虑硬件平台上模型加速的复杂性。
文中最后介绍了Optimum 实战:如何在英特尔至强 CPU 上进行模型量化。
Optimum 团队将与硬件合作伙伴研究针对特定硬件的优化模型设置和组件,成果将在 Hugging Face 模型上向人工智能社区发布。该团队希望 Optimum 和针对特定硬件优化的模型可以提升生产流程中的效率,它们在机器学习消耗的总能量中占很大的比例。最重要的是,该团队希望 Optimum 促进普通人对大规模 Transformer 的应用。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢