Meta的首席人工智能科学家表示,ChatGPT在基础科学方面并不“特别创新”,“它只是设计得很好。”

LeCun表示,这种数据驱动的人工智能系统过去是由许多公司和研究实验室构建的,说OpenAI是独自从事其工作的想法是不准确的。与其他实验室相比,OpenAI也并不是特别进步。这不仅仅是谷歌和Meta,还有六家初创公司基本上拥有与它非常相似的技术,它是一个共同创造的结果。

LeCun表示,在OpenAI存在之前,自我监督学习就是我长期以来一直倡导的东西。此类工作可以追溯到几十年前。20年前,由Yoshua Bengio创建第一个神经网络语言模型——当时它很大,按照今天的标准,它很小,Bengio运用的概念后来成为所有语言模型的关键元素。

LeCun说,ChatGPT不是凭空出现的,而是有一段完整的历史。

OpenAI的程序广泛使用一种称为通过人类反馈增强学习的技术,该技术使人类代理帮助对机器的输出进行排名,以改进它,就像谷歌的网络页面排名一样。他说,这种方法不是在OpenAI开创的,而是在谷歌的DeepMind部门开创的。

他提议,Meta将能够通过自动制作推广品牌的媒体来帮助小企业推广自己:Facebook上有大约1200万家商店做广告,其中大多数是妈妈和流行商店,他们只是没有资源来设计一个新的、设计精美的广告。因此,对他们来说,生成艺术可以帮上大忙。