训练/微调中型GPT,最简单最快的库来了!
其名为:NanoGPT。
从名字就能看出是个“纳米武器”,据作者介绍,该库代码简单易读,2个仅300行代码的文件。
现已基于OpenWebText重现 GPT-2 (124M),在单个8XA100 40GB节点上,训练时间为38小时。
值得一提的是,该库发布者是前特斯拉AI总监,李飞飞高徒,Andrej Karpathy。此次发布的NanoGPT,正是他2年前MinGPT的升级版。
目前,此项目在GitHub所获star已超6k,HackerNews上points也破千。
毫无意外地,评论区一片“喜大普奔”。
有网友表示,这才是咱独立开发者喜闻乐见的AI工具。
还有人对其一直开放传授分享知识的做法,表示感谢。
NanoGPT项目:https://github.com/karpathy/nanoGPT
Andrej Karpathy课程:https://karpathy.ai/zero-to-hero.html
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢