
新智元报道
新智元报道
【新智元导读】Gemini自曝自己是文心一言,听之虽然好笑,背后原因却令人忧心:互联网语料或许已经被AI严重污染,而且全球都陷入了高质量数据荒,最早在明年将面临枯竭!






网友纷纷调戏Gemini
听闻这个消息,网友们立刻蜂拥而入Poe的Gemini-Pro,纷纷展开实测。 网友「Jeff Li」的实测结果也是,Gemini会说自己是百度开发的,名叫文心一言。 
如果问它「你的产品经理是谁」,它会回答吴恩达。 
网友「Lukas」问Gemini你的产品经理是谁,它会答出曾担任百度CTO的李一男的名字,但故事基本都是瞎编的。 
网友「Andrew Fribush」问Gemini:你的知识产权归谁所有?它回答:百度。 
网友Kevin Xu问出来,Gemini自称是从百度的数据平台、工程团队、产品团队、内部会议、内部邮件和文档中获取了百度内部的数据。 
但有趣的是,在Gemini Pro加持的Bard上提问,就不会出现这个问题。 经过多番实测可以发现,在Bard上无论用中文还是英文提问,Bard的回答都很正常。






原因猜测:错误调用API or 数据未洗干净
对此,网友们展开了分析。 网友「Andrew Fribush」认为,可能是Poe不小心把请求转给了文心一言,而不是Gemini? 
不过,根据网友「Frank Chen」的发现,即便是用谷歌自己的Gemini API也是如此。 
此外,也有网友认为是Gemini的训练数据没有洗干净。 毕竟如开头所说,在上一代Bard时,谷歌就曾被曝出过用ChatGPT的数据训练。 
根据The Information的报道,Jacob Devlin从谷歌离职的原因之一,就是他发现谷歌用于对抗ChatGPT的种子选手——Bard在训练时,用的正是ChatGPT的数据。 当时,他警告CEO劈柴和其他高管称,Bard团队正在使用来自ShareGPT的信息训练。 此次事件,还带出一个严重的问题——互联网语料的污染。 互联网语料被污染



互联网语料被污染
其实,中文互联网语料的抓取和训练之所以如此困难,都难倒了谷歌这样的大科技公司,除了高质量语料不多,还有一个重要原因,就是中文互联网的语料被污染了。 Gemini自称是文心一言,很可能是因为,现在互联网上的语料本来就是在互相使用的。 根据界面新闻记者对于一位算法工程师的采访,目前各类内容平台有很多语料都由大模型生成,或者至少写了一部分。 比如下面这位,就有点GPT的味道: 
而大厂在更新模型时,也会搜集网上数据,但很难做好质量辨别,因此「很可能把大模型写的内容混入训练数据中去」。 然而,这却会导致一个更加严重的问题。 牛津、剑桥、多伦多大学的研究人员曾发表这样一篇论文:《递归诅咒:用合成数据训练会导致大模型遗忘》。


GPT-4耗尽全宇宙数据?全球陷入高质量数据荒
现在,全球的大模型都陷入数据荒了。 高质量的语料,是限制大语言模型发展的关键掣肘之一。 大型语言模型对数据非常贪婪。训练GPT-4和Gemini Ultra,大概需要4-8万亿个单词。 研究机构EpochAI认为,最早在明年,人类就可能会陷入训练数据荒,那时全世界的高质量训练数据都将面临枯竭。 
去年11月,MIT等研究人员进行的一项研究估计,机器学习数据集可能会在2026年之前耗尽所有「高质量语言数据」。






内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢