12月22日，国民财富发展研究合作平台“AI+金融”峰会成功举办。香港科技大学荣休教授、加拿大皇家学院院士、加拿大工程院院士杨强在峰会上作主旨演讲。

杨强认为，大模型的核心思想是一种架构，简单而且可以扩大，大模型技术发展也体现在预训练上具有可扩展性。现在遇到了一个巨大的困境是Scaling Law 可能不可持续，还有人类在使用大模型时会暴露隐私，尤其是在金融业。

金融模型的训练往往需要把不同金融机构的数据进行合并，但存在隐私安全顾虑。因此，需要致力于让大模型落地到私域机构，在本地建立一个小模型，通过各种新的人工智能技术，包括联邦学习和迁移学习，把大型的通用能力赋予小模型，让小模型的专业能力教会大模型，这种叫作Teacher-Student Model“老师-学生”模型。

新一代人工智能是基于生成式和预训练，大数据、大算力、算法等成就了AI新的里程碑。但未来仍面临巨大挑战，包括公域数据将被用尽、私域数据又面临隐私安全等问题，这意味着规模定律Scaling Law会走到尽头，预训练将会终结，新的方向需要进一步探索。

当前AI日新月异，领先潮流，备受全世界关注。比如，诺贝尔物理学奖颁给深度学习的先驱者，不仅仅因为他们在物理学有所建树，更是因为他们对全世界的贡献，不仅利用了物理学的关键概念，同时对于未来科学研究具有重大意义。在化学，以及未来其他学科中，人工智能将扮演极其重要的作用，以至于现在的科学范式都要改变。比如，人工智能技术对化学的一个重要贡献是，传统化学中的图像、图片往往是二维的，从二维到三维是一个转变的过程。之前这个过程由科学家完成，但现在可由AI完成，不仅准，而且快，可以代替科学家很大部分劳动力，在很短时间内完成工作，这种变化具有革命性。人工智能技术是通用技术，可以用在各领域，在金融领域也将发挥巨大作用。

人工智能已历经长期发展，从图灵开始思考“机器可以思维吗？”这一关键问题，以及达特茅斯会议上发明“人工智能”名词开始，后来经历多次起伏，包括感知机、专家系统、深度学习，一直到前几年的Transformer Attention模型、预训练模型，到ChatGPT、Sora、o1，到刚刚发布的o3，当然，这个过程相比于人类发展历程是非常短暂的。人工智能领域早期有符号主义先驱等，整体上看，人工智能前40年在研究推理，后20年在研究机器学习，当前的机器学习研究包括发布的o3都建立在推理研究的基础上。包括专家系统，从诞生开始就考虑工业落地，掀起了巨大浪潮，以及日本投入巨大资源研发第五代计算机，在很早期就在考虑应用落地，金融领域也在持续探索如何实现人工智能技术落地应用。这其中有些有趣的是，比如IJCAI国际顶会颁奖给强化学习先驱Andrew Barto，期间心理学家用算法加以正规化，最后研究出了强化学习算法。深度学习加上强化学习，就是ChatGPT的一个重要基础。

纵观整个过程，无论是专家系统还是符号主义等学派，都是想把人类知识赋予机器，就像老师想把知识赋予学生一样。但是40年的历程告诉我们，这个过程并不简单，而且是不可能的。最后发现有一个可能性，通过一种人类懂、机器也懂的语言做中间桥梁，这种语言就是数据。人类可以通过行为、思维产生数据，机器可以利用数据产生机器智能，数据就是一个能够实现沟通的语言。

另外，由于Hinton本身是物理学家出身，物理学家最终追求的是找到一个理论来解释所有的物理现象，这一理论叫作统一理论，也即自然界的四大力要用一个理论进行解释，当前物理学还没有实现。因此，人工智能领域也要通过一个或者一类模型来解释所有的智能现象，这也是Hinton把物理学的概念第一次带入智能科学。

智能现象可以分为两种，一是感知，一是认知。在感知领域，OpenAI首席科学家、ChatGPT之父有非常大的贡献，他认为感知是所有感知现象，人类可以在0.1秒做出的决策，用一个十层的神经网络就完全可以实现。但在是0.1秒以外就是认知，被称为“长思想，long think”，长思考就需要一步一步做推理，当前的人工智能的重点在推理，也即在0.1秒以外。

还有一点要关注，2014年恰恰是分水岭，在这之前更多是做0.1秒以内的感知，就像深度学习、人脸识别、语音识别等。但2014年之后计算机硬件达到了更高水平，能够处理大量数据，用这种硬件能力加上生成式AI算法，可以实现生成式AI飞速发展。之前我在课堂上也教学生什么叫生成式AI，但是会加一句“这是未来，现在还做不了，因为速度太慢”。但2014年有质的飞跃，今天不管是图像生成、视频生成，还是ChatGPT都是革命性的。

大模型的核心思想是一种架构，简单而且可以扩大。Attention模型和transformer模型就是预训练模型的基本思路，是一种翻译模型，全世界的智能可以看作是一种翻译。图像也可以翻译，比如一个莫奈的印象派的画，如果想把它翻译成中文，可以通过Transformer模型对它进行翻译，把高层概念抓取出来，这一概念叫作Attention，也是预训练在做的事。我们可以把万物之间都做这样的翻译，这就是智能的表现。

根据这样的思想，可以用一个新模型处理图像，通过这样的概念，把任意的图像都可以通过自学习来重新生成这个图像，不用人来标注，来训练今天的图像生成和视频生成。

大模型技术发展也体现在预训练上具有可扩展性。可扩展性英文叫作Scaling Law。可扩展需要根据算力、数据，最重要的是根据模型参数，所谓的70B、200B都是在讲大模型的Scaling Law能力随着参数量而增加。

但是现在遇到了一个巨大的困境，就是Scaling Law可能不可持续。最关键的原因是所有用以预训练大模型的公开数据几乎用完了，这些高质量的数据、公开数据是人类产生的，人类生成这个数据的速度远远没有机器能够消化这些数据的速度快，就好比石油已经被开采完了。还有一点是人类在使用大模型时会暴露隐私，尤其是在金融业。大模型在企业的应用需要使用这个企业的内部数据，云端部署的大模型没有办法直接应用到企业的内部数据，也没有办法通过本地数据增强训练，所以隐私保护是大模型应用的一个关键问题。并且，很多一线端侧部署的客服、营销等金融应用，缺乏算力支撑，因此当前大模型无法很好地直接部署在一线应用端。

从一些定量分析的视角来看，大模型发展在2028年可能是一个关键点。在图形上描述的话，一条曲线是数据库存，趋势斜率很小，跟水平相近，还有一条曲线是数据消耗，趋势斜率较大，是一条斜线，二者预计在2028年相交。把数据整体比作冰山的话，冰山上面是现在能拿到的公域数据，冰山下面是私域数据。私域数据占90%之多，包括金融机构的内部数据、手机和电脑存储的数据等，现在还没有用在大模型训练上，而且现在没有很好的技术使用私域数据。

OpenAI前首席科学家、联合创始人Ilya Sutskever在近期NeurIPS2024上的演讲，一是宣告预训练的结束，二是探讨未来可以做什么。他给出了一些建议，第一是智能体，要建立大量垂域专家，这种专家也称为Agent智能体，能学习、沟通、推理。设想一下，金融领域需要大量客服专家、营销专家、风控专家、内部运营管理专家等，这些专家可以依靠智能体实现。第二，智能体要具有推理能力，不仅仅是进行简单学习，而且是在思考未来，根据已学知识往前推理。第三，智能体要有理解能力、同理心，可以理解人类，知道自己的边界在哪里。第四，智能体应该产生自我意识，也即能够自我审视，可以理解为一个模型在运行时，有一个“另外的我”在观察“我的运行”，就像人类会对某件事有自豪感、羞耻感，这种“感”是由另外的“我”在身体之外在看“我”的运行，大模型也应该有这种能力。

对于智能体的概念和功能内涵，第一个重要的能力是推理和组合，能够使用智能体掌握我们手机上的一些资源。第二，特别重要的一点是，伴随人类生成的自然数据规模不足以训练大模型，人造数据就变成大家的关注点。之所以需要人造数据，是因为具身智能、机器人、无人车的创造需要经过两个过程，一是通过一个模拟器进行训练，二是将模拟器中训练好的模型适配到现实场景，就像学生在教室里学习，然后到实践中去磨合，磨合的过程就是adapt适配。最近发布的GENESIS就是这样的一个模拟器。在模拟器环境中的这些数据对训练模型非常有用，可以想象，未来可以通过建立这种环境去训练智能体和大模型，进而能够让模型适配各种真实场景。

总结一下人工智能60余年的探索，最终发现深度学习可以完成“以一种模型解释所有智能现象”的梦想。新一代人工智能是基于生成式和预训练，大数据、大算力、算法等成就了AI新的里程碑。但未来仍面临巨大挑战，包括公域数据将被用尽、私域数据又面临隐私安全等问题，这意味着规模定律Scaling Law会走到尽头，预训练将会终结，新的方向需要进一步探索。

关于澜舟科技

ABOUT

北京澜舟科技有限公司（简称“澜舟科技”）成立于2021年，是一家业界领先的认知智能公司，在大语言模型的创新技术领域深耕细作多年，从轻量化预训练模型到孟子大模型，再到针对垂直场景及专业领域的行业大模型均有深度布局，凭借卓越的技术实力和创新精神，澜舟科技曾荣获“HICOOL2021全球创业大赛一等奖”，进一步彰显了其在认知智能领域的领先地位。

澜舟科技致力于以自然语言处理（NLP）技术为基础，为全球企业提供新一代认知智能平台，助力企业数字化转型升级。其主要产品是基于“孟子大模型”打造的一系列智能体应用，包括智能会议助手（澜舟智会）、企业智能知识库平台（澜舟智库）、智能体工具平台（澜舟智搭）、机器翻译（澜舟智译）以及文档理解、写作助手、客服助手、营销助手、搜索助手等，全方位满足企业的多样化需求。

往期文章推荐