Colossal-AI 快速跟进，首个开源低成本复现 ChatGPT 完整流程。

作为当下最火热的开源 AI 大模型解决方案，Colossal-AI 已收获开源社区 GitHub Star 近万颗，此次开源亮点包括：

  • 开源完整基于 PyTorch 的 ChatGPT 复现流程，涵盖全部 3 个阶段，可实现从预训练模型到 ChatGPT 的蜕变；
  • 体验最小 demo 训练流程最低仅需 1.62GB 显存，任意单张消费级 GPU 即可满足，单卡模型容量最多提升 10.3 倍；
  • 相比原生 PyTorch，最高可提升单机训练速度 7.73 倍，单卡推理速度 1.42 倍，一行代码即可使用；
  • 对于微调任务，可最多提升单卡的微调模型容量 3.7 倍，同时保持高速运行，仅需一行代码；
  • 提供单卡、单机多卡、1750 亿参数等多个版本，支持从 Hugging Face 导入 OPT，GPT-3，BLOOM 等多种预训练大模型；
  • 收敛验证正在进行中，该项目也在吸引合作者共建生态。

官网地址：Colossal-AI 让AI大模型更低成本、方便易用、高效扩展

开源地址：https://github.com/hpcaitech/ColossalAI

Colossal-AI 以开源方式复现了 ChatGPT 训练的基本流程，包括阶段 1 预训练，阶段 2 的奖励模型的训练，以及最为复杂的阶段 3 的强化学习训练等。

同时，Colossal-AI 通过 ZeRO，Gemini,  Chunk-based 内存管理等技术，极大地降低 ChatGPT 训练的显存开销，仅需一半硬件资源即可启动 1750 亿参数模型训练（64 卡 ->32 卡），显著降低应用成本。若使用上述相同硬件资源，Colossal-AI 则能以更短时间进行训练，节省训练成本，加速产品迭代。

为了让更多开发者体验复现 ChatGPT 模型，除 1750 亿参数版本外，Colossal-AI 还提供高效的单卡、单机 4/8 卡的类 ChatGPT 版本，以降低硬件限制。

内容中包含的图片若涉及版权问题，请及时与我们联系删除