本文为《论AI安全风险与对策》系列第2篇。
过去几年，AI的智能水平发展很快，ChatGPT、Midjourney、Sora等各种AI模型在语言、图像、视频等各个领域大放异彩。那么，未来AI是否还会继续快速发展呢？是否会达到瓶颈呢？
本文从AI发展的四大驱动力，算力、算法、数据和资金这四个因素进行论证，分析了这些因素对AI能力的推动作用，以及未来的发展潜力。
算力
首先，AI芯片的算力仍在快速变强：过去10年，单个GPU芯片的推理性能提升了1000倍[1]，而英伟达新一代AI芯片B200的性能是前一代H100的2.3倍 [2]，按照英伟达公布的路线图，2025年还将推出更强的X架构 [3]。
推动芯片算力变强有两大因素，制程和设计，这两者都还有不小的增长潜力。尽管芯片的制程已经逐渐逼近物理极限，但仍有提升空间，英伟达B200采用的是台积电N4P工艺，可以理解为5nm制程的一个改进版本，而台积电已实现3nm制程，而且未来有望实现到1nm[4]。即使制程不再增长，通过芯片设计的改进也还有很大的提升空间，例如初创公司 Groq 开发的一种新的 AI 处理器 ——LPU（Language Processing Unit），其推理速度相较于英伟达 GPU 提高了 10 倍，成本却降低到十分之一[5]。
其次，由于AI计算是高度可并行的计算任务，即使单个芯片的算力增长达到了瓶颈，也可以通过增加芯片来提升算力。
AI算力增长不仅能够使AI运行得更快、运行更多的AI副本，更重要的是，能够让AI变得更加智能：
在强大算力的支撑下，AI模型的参数越来越大。参数更多的模型经过充分训练之后，通常比参数较少的模型表现更好。自2016年以后，参数数量急剧增加，从而驱动模型能力的快速提升[6]。
在强大算力的支撑下，AI模型的训练计算量也越来越大，通常情况下训练越多模型就学习得越充分，从而可以表现更好的性能。2017年发布的原始Transformer模型大约需要7400 petaFLOPs，而2024年谷歌目前最先进的模型之一Gemini Ultra需要500亿petaFLOPs，增加了6百多万倍[6]。
在AI发展过程中，人们观察到大量的“智能涌现”现象，即随着模型参数规模变大、训练数据量增加或者训练迭代次数增长，模型会突然获得之前从不具备的能力[7]。如下图所示，针对8种不同的任务，随着模型规模的增大，模型的性能会在某一个点之后出现突增。
综上所述，AI算力的增长还远远没有到达瓶颈，算力增长会让AI变得越来越智能，涌现越来越多的智慧能力。
算法
除了算力，算法进步也是推动AI发展的重要力量。算法的进步不好直接量化，但我们可以从论文、专利和开源项目等数据来侧面反映算法的进步速度。
近年来，AI期刊和会议出版物的数量一直在增长。与2015年相比，2022年的会议出版物是2015年的2.6倍，期刊出版物是2015年的2.4倍[6]。
近年来，AI专利的数量快速增长。仅从2021年到2022年，AI专利的数量就增加了62.7%[6]。
近年来，与AI相关的GitHub项目数量快速增长。2023年，GitHub上的AI项目数量急剧增加了59.3%[6]。
算法的背后是人才，AI领域的人才也快速增加。例如在美国和加拿大，AI领域的博士毕业生在近年来快速增加，且越来越多的比例前往工业界[6]：
此外，ChatGPT等大语言模型的使用也大大提升了AI人才的工作效率，起到进一步的加速作用。
算法改进对于AI的进步是非常明显的，有时候，一个很小的改进就可以大幅提升AI的能力。例如著名的思维链（Chain of Thought）论文，仅仅在每个答案前面加一个"Let's think step by step"的提示词，即可将模型在MultiArith数据集的准确率从 17.7% 提升到 78.7%[8]。
算法改进还可大幅降低AI的成本。例如，过去两年内，从Minerva到最新发布的Gemini 1.5 Flash模型，在MATH测试集上取得50%准确率的推理成本降低了1000倍[9]。
当前，无数的AI科学家和工程师们还在致力于改进AI的算法。在提升AI智能的关键领域，例如世界模型[10]、长期记忆[11]、Agent[12]等方向，不断有新的突破产生。
综上所述，AI算法还在快速发展，远远没有达到瓶颈。
数据
数据增长也是推动AI能力发展的重要因素。
从过去看，AI模型的训练数据量呈指数增长趋势[13]：
在大模型训练中，存在一个缩放定律：对于计算最优训练，模型大小和训练token的数量应该是等比例扩展的：每当模型大小翻倍时，训练token的数量也应该翻倍[14]。因此，如果想要让模型获得更多的进步，就需要更多的数据。
大模型预训练数据大部分是来自互联网公开数据，那么，随着训练模型所需数据不断增长，会不会将互联网上的数据耗尽？根据研究人员估计，AI模型可能在2024年耗尽高质量的语言数据，在二十年内耗尽低质量的语言数据，并在2030年代后期到2040年代中期耗尽图像数据[15]。这么看来，互联网数据还可以支撑模型进一步提升一段时间。
即使数据耗尽，也不意味着AI模型无法继续提升，AI还可以通过其它方式，例如通过合成数据的方式来进步。在Claude3、GPT-4的训练上，已经使用上了合成数据[16][17]。研究表明，AI模型可以通过自我生成优化的训练数据，来提升自身的能力[18]。
综上所述，AI的数据还会继续发展，短期内不会成为AI发展的瓶颈。
资金
不管是算力还算法（人才），都需要源源不断的资金支持。
随着AI展现出越来越强的能力和广泛的应用场景，越来越多的资金涌向AI领域，尤其是生成式AI领域。2023年，生成式AI行业吸引了 252 亿美元的投资，几乎是 2022 年投资的九倍[6]。
对于科技巨头来说，钱就更不是问题。财报显示谷歌母公司Alphabet在2022年底的现金流储备为1000多亿美元，而训练一个跟GPT-4类似的模型只需消耗1亿美元多一些[19]。Meta、微软、谷歌都表示要投入数百亿甚至上千亿美元来发展先进的AI技术[20]。
综上所述，资金并不会成为AI发展的瓶颈。
总结
综上所述，从算力、算法、数据和资金这四个方面分析，可以看到这些驱动力在未来仍然会持续推动AI的快速进步，并不存在明显的瓶颈。
既然AI发展没有明显的瓶颈，那什么时候可以发展出人类水平的AI（AGI）呢？本系列的后续文章将继续探讨这一问题，欢迎关注。
参考
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢