最近在工业界与学术界，最热门的方向莫过于预训练语言模型。而具有百亿乃至千亿参数的大规模预训练语言模型，更是业界与学术界发力的热点。

但现在大模型的应用却有着较高的门槛，排队申请或需要付费的API、较长的模型响应速度、推理所需要的较为昂贵的算力资源……种种因素都影响着大模型的快速应用与落地。对于普通的研究者与开发者来说，大模型可以说是看得见，却很难摸得着。

近日，北京智源研究院和清华大学自然语言处理实验室团队联合发布了一款低资源大模型推理工具包BMInf，在最低配置为NVIDIA GTX 1060 6G的千元级显卡上便可以进行百亿模型的高效推理。BMInf全名为Big Model Inference，它具有如下特点：

1、硬件友好。BMInf最低支持在NVIDIA GTX 1060单卡运行百亿大模型，使用更好的GPU会有更好的运行性能。在显存支持进行大模型推理的情况下（如V100或A100显卡），BMInf的实现较现有PyTorch版本仍有较大性能提升。

2、开源共享。模型参数开源共享，用户在本地即可部署运行，无需访问或申请API。

3、能力全面。支持生成模型CPM1 [1]、通用模型CPM2 [2]、对话模型EVA2 [3]，模型能力覆盖文本补全、文本生成与对话。

4、模型升级。基于持续学习推出百亿模型新升级CPM2.1，文本生成能力大幅提高

5、应用便捷。基于工具包可以快速开发大模型相关下游应用。

项目地址：https://github.com/OpenBMB/BMInf

对于大模型使用感兴趣的同学，快来试用体验吧！

内容中包含的图片若涉及版权问题，请及时与我们联系删除