作者:Xiangyu Zhang旷视科技
原文转自知乎阻碍国内团队研究 ChatGPT 这样产品的障碍有哪些,技术,钱,还是领导力?
以下是知乎部分同学的精彩回复,更多请见原文,请在评论区发表你的观点👇
Xiangyu Zhang旷视科技
意识和视野的差距是决定性的,国内非常缺少有前瞻能力、能出题的帅才。这也不完全是试错的问题,事实上真正厉害的人带队做东西的成功率非常高。我就接触过一些人,别人看来比较高风险、需要试错的事情,在他看来非常具有确定性、几乎必然成功的,最后果然也能把事情做成,这就是视野和前瞻能力的差距。我们的很多学者提不出好的课题,要么过于平庸,要么无法实现,要么没有卵用。这是每个课题带头人需要反思的。
还有就是产学研商业闭环的能力国内也非常欠缺。做这种东西,钱不是大风刮出来的;对于头部学者想搞事情,拿到启动资金并不困难,但接下来怎么办需要周密的部署,钱从哪里来,怎么拿投资,前期如何过渡,预期能取得多少成效,要如何反馈科研、回馈投资人,都得想清楚,这样才可持续发展。我们的很多项目初始投资其实不少,但是没有做好闭环,很快钱就烧光了。
其实AI领域我们和国外差距最小的反而是解题能力,或者说是狭义的技术实力。已知一个方向确实行得通,国内很快就可以做出来。很多人可能认为AI领域国内非常依赖国外工作的开源,其实并不是,这和操作系统等传统领域还不一样,AI技术本身我们的差距并不大。头部的公司在已知方向的情况下靠自己复刻一个算法或者一个商业模式,这些并不困难。但问题是这种模式在其他领域可能听起来还不错,在AI这种快速发展的行业里是不行的,因为算法是有明显的时间价值的,淘汰迭代的速度太快了,率先意识到一个东西,并第一个做出来,将拿走几乎全部的credit和大部分潜在利润,以及进一步转型的时间窗,后面follow的就算成功也只能吃灰。最简单的,我们累死累活复刻了ChatGPT,结果别人直接出了ChatAGI;或者堆了大量机器把参数量弄到十万亿,结果别人说实现AGI堆参数是错误的,只需要小参数量、小数据就行了,这不是直接降维打击么。这种亏我们在几年前的AutoML时代已经吃过一次了,希望不要在大模型时代再吃一次。
但我想说chatgpt这个级别的研究,即使给够资源也不一定能做出来。
微软亚洲研究院Dr.Wu
我想说chatgpt这个级别的研究,即使给够资源也不一定能做出来。如果时间倒流到2019,给你5000张卡,99%人还是train bert。然后刷一堆榜,做一些小创新,发个公众号,突破100个任务的SOTA
我记得有个采访,问Openai一个创始人为什么离开之前的公司去OpenAi,回答是
1学术界太重视标准测试集的结果,但他认为应该做更加通用的,而不是过拟合数据集
2 研究员和工程师需要结合更紧密。不应该局限于标准设置的数据量级,需要更大。
于是我们看到了GPT,DAlle,都是沿着这个mindset的工作,无论BERT当时多火,仍然坚持自己相信的东西,最后有了收获。
夕小瑶,机器学习话题下的优秀答主
我觉得最大的障碍在于文化,或者说意识。据我观测,每当国外有新的技术突破的时候,咱们国内手握大量资源的团队第一反应往往是-咱们赶紧做个中文版的出来!咱们要做出中国的首个XXX模型。
所以,如你所愿,各大手握资源的团队纷纷推出了中文版的BERT、RoBERTa、GPT3等。有的团队还比较实在,不在名字层面做创新,干脆就叫XXX中文版。但不少团队是在原版基础上强行加一些作用不大的伪创新和所谓差异化,搞点trick刷个榜,然后起个霸气的名字,就开始做推广了。等推广的差不多了,国外更先进的模型被探索出来了,我们又可以开始做下一轮中文适配了。
文化的事情你不能去苛责具体的团队或人。毕竟,趟全新的路子,失败风险是要高于成功的;打补丁做宣传,成功的概率要高于失败的。失败后,绩效怎么办?团队会不会被干掉?会不会成为降本增效先锋?这都是一个团队leader要顾忌的事情。
顶层机制和价值导向不改,下边是不敢放开手搞创新的。另外,今年OpenAl忙着搞ChatGPT,国内大厂忙着降本增效,人人自危,AI成为秋招重灾区。接锅吧,经济大环境,这究竟是时代的偶然还是历史的必然?
清华大学微电子学研究所陈巍谈芯
中国科学技术大学计算机软件与理论博士李博杰
首先,是业务规模。由于地缘和文化的原因,大多数国内公司在出海上面都遇到一些困难,主要是国内市场,比欧美市场相对来说就小很多。同样是公有云a,欧美市场AWS、Azure、GoogleCloud 就比国内阿里、腾讯、华为云的营收和市值高。由于开发成本基本上是可以平摊的,美国公司开发人员的人均薪酬就比国内的高,可以雇佣相对来说更优秀的人才;也可以产出更多的利润来支撑相对远期的研究,例如OpenAl、Deepmind和 Microsoft Research。ChatGPT 这样的突破性创新很难来自开发节奏紧张的产品部门,一般是来自没有太多短期商业变现压力的研究部门。
其次,是架构迷信。国内很多公司长期处于追赶状态,习惯于copy/follow的思维模式。谷歌或者微软发了一篇论文就奉为圣经,公司内部的专家提出同样的理论却无人问津。假如 ChatGPT 不支持中文,相信过不了几天一堆“中国版的ChatGPT”就会冒出来。架构迷信,表现为喜欢在现有架构上做修修补补的增量创新。面对新架构、新概念、新理论,常常是“灵魂三问Q”:
1.你做这东西哪个客户能用?
2.能给公司赚多少钱?
3.为什么其他人没想到?
ChatGPT 还属于比较容易产品转化的技术,能回答这“灵魂三问”,但其他项目就不一定了,比如下围棋,AlphaGo能赚钱吗?AlphaGo这样的项目可能立项都通过不了。
再次,是生态迷信,表现为认为别人的东西就是标准,一定要兼容,不敢提出自己的标准,不敢建立自己的生态。有时候又走向另一个极端,干脆自己搞一个封闭的体系,依靠行政命令或者砸钱来推广。盲目挑战别人已经建立的生态是没有意义的,我们需要在新的场景、新的架构下,敢于建立新的开放生态。
架构迷信和生态迷信有一部分原因是我们整体上还相对落后,另一个重要原因是我们文化中冒险精神Q的缺乏。可以看到,无论是AI硬件的推动者黄仁勋,还是总想着殖民宇宙的马斯克,骨子里面都有一种冒险精神。这也是欧洲大航海时代背后的精神动力。
最后,我认为上述所有问题都不会阻碍我们征服星辰大海。6年前,当我在导师手把手的指导下发表第一篇SIGCOMM(网络领域顶会)的时候,国内能发SIGCOMM的几乎只有微软亚洲研究院a。当时的我一定不会想到,现在国内每年都有好几篇SIGCOMM,阿里、字节、华为等公司和各大高校和科研院所实现了顶会的井喷。这背后是各大公司巨大的网络服务规模和前沿的网络研究Q,以及各大高校引进的世界顶级研究人才。2019年,SIGCOMM首次在中国召开,可以认为是一个“拐点”。
ChatGPT在我看来是第一个不像人工智障的AI对话系统,它也可以说是AI对话系统的一个“拐点”。大数据、大模型都是我们不缺的,只要破除架构迷信和生态迷信,鼓励冒险精神,我相信中国的OpenAl和Deepmind也已经在路上了,期待这个拐点的到来。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢