斯坦福发布了一个由LLaMA 7B微调的模型Alpaca,训练3小时,性能比肩GPT-3.5。

Alpaca: A Strong Open-Source Instruction-Following Model

作者:Rohan Taori and Ishaan Gulrajaniand Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto

Alpaca是由Meta的LLaMA 7B微调而来的全新模型,仅用了52k数据,性能约等于GPT-3.5。关键是训练成本奇低,不到600美元。在8个80GB A100上训练了3个小时,不到100美元;生成数据使用OpenAI的API,500美元。

OpenAI最大的创新之一就是将指令调优用在了GPT-3上。斯坦福使用了现有的大语言模型,来自动生成遵循指令演示。

官网地址:https://crfm.stanford.edu/2023/03/13/alpaca.html

模型入口:https://crfm.stanford.edu/alpaca

github地址:https://github.com/tatsu-lab/stanford_alpaca

 

 

更多内容可参考:

https://simonwillison.net/2023/Mar/13/alpaca

https://mp.weixin.qq.com/s/ybVYZumZhk_yM_w0U1wXww