大规模并行AI训练系统Colossal-AI团队提出了大模型推理系统Energon-AI。

以“高性能、高可用、可伸缩”的理念，深入单实例多设备推理场景，Energon-AI在性能和易用性上兼具优势。

仅需对现有项目进行极少量修改，用户就能完成自定义大模型的推理部署，获得并行扩展的超线性加速。

对于AI大模型分布式推理加速，相比英伟达FasterTransformer可提升50%以上。

开源地址：https://github.com/hpcaitech/ColossalAI

面向AI大模型部署，Colossal-AI团队设计了单实例多设备推理系统Energon-AI。

图 Energon-AI超大模型推理系统示意图

Colossal-AI兼容低端设备，在仅有一块GPU的个人PC上便能训练高达180亿参数GPT；普通的笔记本电脑，也能训练十几亿参数的模型。

相比现有主流方案，可提升参数容量十余倍，大幅度降低了AI大模型微调和推理等下游任务和应用部署的门槛。

内容中包含的图片若涉及版权问题，请及时与我们联系删除