斯坦福发布了一个由LLaMA 7B微调的模型Alpaca，训练3小时，性能比肩GPT-3.5。
Alpaca: A Strong Open-Source Instruction-Following Model
作者：Rohan Taori and Ishaan Gulrajaniand Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto
Alpaca是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。在8个80GB A100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。
OpenAI最大的创新之一就是将指令调优用在了GPT-3上。斯坦福使用了现有的大语言模型，来自动生成遵循指令演示。
官网地址：https://crfm.stanford.edu/2023/03/13/alpaca.html
模型入口：https://crfm.stanford.edu/alpaca
github地址：https://github.com/tatsu-lab/stanford_alpaca
更多内容可参考：
评论
沙发等你来抢