来自 Meta 官方消息,Meta 自家的雷朋智能眼镜,开始支持多模态版的 Llama 3 了!要知道,Llama 3 的开源版本还没支持多模态。

戴上这副智能眼镜,外出旅行坐车感到无聊时,可以让 Meta 来点音乐。还可以直接翻译不认识的语言。又或者在路上腾不出手时,Meta 可以给好友发语音信息。

走到一座建筑前,呼叫 Meta 告诉自己关于它更多的信息。甚至,视频电话、直播,科普等,只要是你能想到的,AR 眼镜全可以做得到。


Meta 介绍,去年 12 月便开始在雷朋 Meta 智能眼镜上测试了多模态 AI。目前,已经在美国和加拿大地区销售的眼镜上推出了这一新功能。

除此之外,还更新了诸多实用功能,有了多模态 AI 加持的 Meta 眼镜,有望成为今年最火的 AI 硬件了。

文章部分内容来自于「新智元」,Founder Park 增加了一些新的内容。


办公类软件,都值得用 AI 重做一遍。但怎么重做,是个问题。

有采用 Copilot 形式的 WPS AI、Notion AI 以及 Microsoft 365 Copilot;也有完全使用对话 UI 交互的商汤小浣熊等,但不管是哪种形式,对于办公场景中的「数据处理」,可能都需要解决以下问题:

  • 如何解决数据规模的问题?能处理多大的数据规模?

  • 如何让数据结果精准可控,控制 AI 的幻觉,只靠 Prompt 行吗?

  • 没有任何数据不存在问题,如何识别有问题的数据?

Tipis AI 用「写代码」的方式处理数据,不仅解决了这些问题,更重要的是,实现了 AI 的商业落地——赚到了钱

4 月 25 日(本周四)晚 8 点,我们邀请到了 Tipis AI 创始人陈龙博分享他们用 AI 重塑「数据处理」流程的经验和思考。


01

首款 AI 驱动的智能眼镜

这款眼镜配备了一个 1200 万像素的摄像头和五个麦克风,集成 Meta AI 助手后,意味着带着它可以做更多的事。

你看到的任何东西,它都能描述出来。

只需说一句,「Hey Meta,看看这个,告诉我它是什么?」,语音命令即可控制。

看着厨房柜台上一堆食材,Meta 能够迅速制作出相关的食谱。

更有意思的是,小扎本人还在 Ins 发布一个带上智能眼镜,为自己挑选衣服的视频。

他挑选了一个深色的衬衣,并问 Meta 我应该搭配个什么样的裤子。Meta 给出了牛仔裤、短裤的建议。

他还让智能眼镜给一张萌宠的照片,配上了有趣的描述。

小扎手里拿着一种水果,智能眼镜能告诉他这是面包果。

而对于 AR 眼镜来说,实时翻译将成为一款杀手级应用

当你旅行时,正在试着读一份法语菜单。不用查阅手机,智能眼镜就可以完成实时翻译。

它甚至可以阅读不同语言的手势,简直是旅行必备单品。

此外,除了得到多模态 Llama 3 的加持,Meta 还公布了智能眼镜集成了 WhatsApp 和 Messenger 的免提视频通话。


02

实测外出识物,比手机方便

蹭着更新的热乎劲儿,外媒 The Verge 发布了提前拿到内测资格的评测。

前段时间,Humane 智能设备 AI Pin 因性能不如人意,全网陷入了非议之中。关键是 700 美元,根本不值。

作者表示,「我们要对 Meta 智能眼镜的期望值不要太高,因为它并非无所不能」。

测试中的一半的乐趣,就是找到它的极限在哪。

它能否正确识别街上这辆随机的汽车?(一辆 Alfa Romeo Giulia Quadrifoglio 和一辆 Alfa Romeo Tonale)。

与大多数 AI 一样,Meta AI 有时非常准确,有时又会出现幻觉。它正确地识别出了 Giulia。但 Tonale 也被识别为 Giulia。但有趣的是,这两款车几乎没有相似之处,Giulia 是一款轿车,而 Tonale 是一款跨界 SUV。

作者还让它识别自己种的多肉植物(由于有些是别人送的,自己也并不完全清楚具体品种)。

Meta 回答的是,「Echeveria、aloe vera 芦荟和 Crassula 品种」。

但其实,作者用可通过 AI 照片识别植物的应用程序 Planta 进行验证,发现植物当中没有一株是 Echeveria。

最精彩的是,作者的爱人偶然看到邻居家后院一只大松鼠,戴上智能眼镜去要识别出是什么品种。

作者用手机拍下了照片,并用另一款应用试了一番。

果然,Meta 识别错了,而作者使用的 APP 成功识别出它是土拨鼠。

然而,当再用智能眼镜去识别手机中的照片时,确给出了「土拨鼠」正确的答案。

这个案例中,说明了 AR 眼镜缺少「变焦」功能,才导致回答错误。

除了多模态识别能力之外,作者测试其与手机配对时,响应速度也是非常地快。同时,智能眼镜将声音功能集成一体,省去了戴眼镜的麻烦,让交互更加自然。


03

Apple Music、视频通话等诸多新功能

用户可以将将眼镜与 Apple Music 连接,无需动手控制 Apple Music,播放任何歌曲、播放列表、电台或艺术家。你还可以基于你的听歌历史进行自定义推荐。

在听播客之外,Meta 眼镜现在可以体验更多的音乐了。

至于视频通话,你可以通过 WhatsApp 和 Messenger 与朋友或家人通话,在视频通话中分享视野。目前该功能正在小范围测试中,尚未全量开放。

扎克伯格发布的短视频中看到一个相当清晰的视频通话功能演示。在视频中,他与负责 Instagram 时尚的 Eva Chen 谈论新的 Skyler 镜框和金链子。

除此之外,此次还发布了很多新款式的眼镜。新款式 Skyler 镜框提供了一个标志性的猫眼设计,灵感来源于标志性的喷气式时尚时代,专为较小脸型设计。在 Ray-Ban Remix 平台上有数百种不同的定制镜框和镜片组合的混搭。

与此同时,不同时尚款式的镜框设计,都可以专配处方镜使用。


如果你关注大模型领域,欢迎扫码加入我们的大模型交流群,来一起探讨大模型时代的共识和认知,跟上大模型时代的这股浪潮。



更多阅读

10位拿到钱的AI创业者:他们的焦虑、预判和规划

创业复盘:Ai Pin 失败,8 亿美元估值的 Humane 如何走到这一步?

被 Zoom、Teams 统治的赛道,AI 产品如何三个月内新增 50 万用户?

从 YC W24 看硅谷 AI 创业新趋势:AI Agent、垂直领域、多模态和 AI 安全

什么样的 AGI 创业者更容易获得资本青睐?


转载原创文章请添加微信:geekparker