ChatGPT爆火，有些研究者坐不住了，开始琢磨怎样才能开发个等同于 ChatGPT 的开源软件。还没有行动的小伙伴这次参考示例来了，下面我们将要介绍的这个项目（PaLM + RLHF）就实现了这样的功能。

项目地址：https://github.com/lucidrains/PaLM-rlhf-pytorch

 

该项目是在 PaLM 架构之上实施 RLHF（人类反馈强化学习）。基本上等同于 ChatGPT，区别是使用了 PaLM。PaLM 是在谷歌的通用 AI 架构「Pathways」上训练而成的具有 5400 亿参数的大型语言模型。而 RLHF，是 ChatGPT 在 GPT 3.5 系列模型的基础上，引入「人工标注数据 + 强化学习」（RLHF）来不断微调预训练语言模型，旨在让大型语言模型（LLM）学会理解人类的命令，并学会根据给定的 prompt 给出最优的答案。

想要了解 RLHF 更多内容，可以参考：https://huggingface.co/blog/rlhf

正如网友所说的：「在 AI 领域中，每有一次专项突破，开发者们很快就会复现出一个开源版本。」不过该项目目前只包含训练架构和代码，没有预先训练好的权重。在使用说明上，文档也显示必须先要训练 PaLM。对此也有网友表示担心，表示：这不是一个开箱即用的项目，还只是一个架构，就像 shell 一样，需要昂贵的开销才能训练完成，没有机构能够像谷歌那样训练 PaLM。

还有网友表示：「没有预训练权重是非常糟糕的，官方至少需要释放 50% 的稀疏权重，剩下的让开发者自己训练，才是最好的选择。」

查看项目运行方式请阅读原文

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除