LeCun转赞：在苹果M1/M2芯片上跑LLaMA！130亿参数模型仅需4GB内存

前不久，Meta前脚发布完开源大语言模型LLaMA，后脚就被网友放出了无门槛下载链接，「惨遭」开放。

消息一出，圈内瞬间就热闹了起来，大家纷纷开始下载测试。但那些手头没有顶级显卡的朋友们，就只能望模型兴叹了。

不过，问题不大。

Georgi Gerganov在最近做了一个名为「llama.cpp」的项目——没有GPU也能跑LLaMA。

地址：https://github.com/ggerganov/llama.cpp

是的，这也包括搭载了苹果芯片的Mac。并且还获得了LeCun的转发支持。

目前来说，比较全面的教程有两个，分别基于苹果的M1和M2处理器。

第一篇：https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

第二篇：https://til.simonwillison.net/llms/llama-7b-m2

话不多说，先看效果。比如在最小的7B模型上提问：「第一个登上月球的人是」。很快，几秒之后，结果就出来了。

-p '第一个登上月球的人是'

第一个登上月球的人是38岁的宇航员Neil A. Armstrong。

1969年7月20日，阿波罗11号在月球上着陆。

阿波罗11号是第一个登陆月球的载人任务，也是太空竞赛的高潮。1969年7月，Neil Armstrong和Edwin "Buzz" Aldrin成为第一批在月球上登陆的人类。

阿波罗11号于7月16日从肯尼迪航天中心发射。

从阿姆斯特朗登月的年龄、中间名和日期来看，并没有出现明显的事实性错误。这对于如此体量的小模型来说，实属不易。如果用下面这个提示，则可以生成了一些实用的Python代码。

-p 'def open_and_return_content(filename):'

def open_and_return_content(filename):
    """    Opens file (returning the content) and performs basic sanity checks    """if os.path.isfile(filename):
        with open(filename) as f:
            content = f.read()
            return contentelse:
        print('WARNING: file "{}" does not exist'.format(filename), file=sys.stderr)
        return ''def get_file_info(filename, fullpath):
    """    Get file information (i.e., permission, owner, group, size)    """

内容中包含的图片若涉及版权问题，请及时与我们联系删除

LeCun转赞：在苹果M1/M2芯片上跑LLaMA！130亿参数模型仅需4GB内存

评论