Colosse-AI开源方案：复制 ChatGPT训练过程

Colosse-AI 刚刚开放了一个开源方案，用来复制 ChatGPT 的训练过程，允许以极低的成本复制 ChatGPT 训练过程，并减少了硬件限制，大大降低了 ChatGPT 类应用的成本。

“只需要一半的硬件资源，就可以进行1750亿参数模型的训练(从64张卡到32张卡)”，单服务器训练的加速比提高了7.73倍，单 GPU 推理的加速比提高了1.42倍。

博客地址：https://www.hpc-ai.tech/blog/colossal-ai-chatgpt

GitHub: github.com/hpcaitech/ColossalAI/tree/main/applications/ChatGPT

内容中包含的图片若涉及版权问题，请及时与我们联系删除