一个猫头鹰饿了,那么接下来会做什么,很显然会去寻找食物。
这一生物本能属于主动推断的范畴,而主动推断是知觉行为的第一性原理。
当前,AI与脑科学的碰撞和交融还有无限的空间,脑科学里面有哪些核心的“第一性原理”,正在成为AI创新的认知神经基础?人工智能技术有哪些应用和实践,正在成为探索生物大脑“智能的奥秘”的有力工具?站在交叉学科的十字路口,通往通用人工智能有哪些可行路径?
在“2022北京智源大会-人工智能的认知神经基础”主题论坛上,来自于智源研究院[人工智能的认知神经基础重大研究方向]的科学家同国内外行业专家一起,通过跨学科的学术研讨和交叉讨论,分享了他们对于以上问题的探索和思考。
整理:智源人工智能的认知神经基础团队
编辑:李梦佳
论坛专家名单:
Karl Friston | 伦敦大学学院教授
刘 嘉 | 清华大学脑与智能实验室教授,智源首席科学家
陈良怡 | 北京大学未来技术学院教授,智源研究员
宋 森 | 清华大学医学院教授,智源研究员
余 山 | 中国科学院自动化研究所教授,智源研究员
方 方 | 北京大学心理与认知科学学院教授,智源研究员
吴 思 | 北京大学心理与认知科学学院教授,智源研究员
杜 凯 | 北京大学人工智能研究院助理研究员
刘嘉|视觉皮层的物体选择性编码原则
陈良怡|从神经的稀疏编码到数学超分辨率显微镜
抽象推理是智能的基本问题之一。抽象规则学习是在输入中寻找可推广的模式,并能够脱离对具体例子的依赖,从而可以达到更好的可推广性和泛化性。尽管神经网络在一些视觉任务中已经达到了人类水平,但其推理能力仍然远远落后,尤其是在无监督(规则未知)的情况下。
生物智能中,即使是很小的婴儿也具有很好的抽象规则学习能力。研究表明七个月大的婴儿就可以发现声音里的一些语法规律。而如果是空间上的视觉序列,更小的婴儿(3-4个月)也可以学到其中的规则模式。不只是人类,有实验表明猴子在空间序列规则识别任务中也可以很快的学习到物体的空间序列规则。这些都表明抽象的规则学习在生物智能中是一个普遍且重要的能力。
受认知科学的启发,宋森教授团队首先设计了一个更像人类学习规则的任务,该任务旨在通过试错的方式来学习抽象规则。然后构建了一种新的架构来解决此任务,该架构主要根据先前的试验结果学习规则的表征,其对规则构建一个嵌入向量表征,通过对比模块和规则模块分别进行规则的猜测和规则表征的动态修改,使得该结构可以快速适应没有见过的规则组合,从而学习到规则,实验表明网络在推广能力和泛化性上都有明显的提升。其次,我们提出通过内部推理的过程来学习更鲁棒的规则表征。该方法关键思想是将学到的规则重复应用到不同的实例中,以期对规则有一个全面的理解(即更鲁棒的表征),在瑞文测试中相比于其他方法表现出更好的推广和泛化能力。因此,抽象规则的学习能力对于提高人工神经网络的推广和泛化能力具有重要作用。
吴思|连续吸引子神经网络-一种神经信息表征的正则化模型
第一,连续吸引子网络可以用于编码图片之间具有相似性的语义表征,借助深度神经网络,这种连续吸引子表征可以从真实图片数据中学习得到;
第二,在连续吸引子网络的动力学中引入一种神经负反馈机制后,其原本稳定的波包状态会在平滑的流形空间移动,形成行波,并实现对外部移动刺激的预测追踪;
第三,结合神经负反馈机制,连续吸引子网络可以实现动物觅食过程产生的莱维飞行现象,并可以帮助理解神经系统如何实现高效的记忆检索。
近年来基于深度学习的自然语言处理取得了长足进展,大模型的成功更是极大提高了人工智能在语言任务中性能,但是单纯基于符号层面的统计模型从本质上会面临“中文屋子”困境, 即难以理解符号在真实世界的语义。相比而言,人类不仅能熟练的掌握语法,也能理解语言符号的真实含义,所以能够通过符号传递丰富的信息,比如从少量文字联想到具体的场景。这种能力差异的实质是什么?比较重要的是Stevan Harnad提出的符号接地(symbol grounding)能力,就是我们大脑具有将抽象的符号与真实世界的事物进行关联的能力,从而可以将符号主义和连接主义的方法紧密融合在一起。
通过核磁共振的扫描也发现,当给被试呈现不同的单词时,大脑不仅仅会激活负责语言的区域,还会激活几乎整个大脑的所有区域,这说明大脑能够将抽象的语言和具象的感官、运动、情绪等众多表征相关联。从人类进化的过程看,语言能力是智人发展的中后期才具有的能力,一个重要的判断依据是近10万年以来,壁画或有意义的抽象符号在智人所留下遗址或遗物中的出现。这种人类所独有的符号化表征能力在心智形成、想象、规划、使用工具等高级智能功能及行为中也具有重要作用。如果排除人类抽象符号语言能力,那么我们的智能水平可能与较高等的非人灵长类动物并没有太大的区别。因此我们希望未来能进一步通过借鉴大脑的抽象符号表征能力来解决符号接地的问题,从而促使人工智能上一个新的台阶。
方方|知觉学习:机制、功能及其增强
知觉是人脑对接收到的外界刺进的反应,是包含一系列的感觉信息的加工过程。Karl Friston认为主动推断(Active Inference)是知觉行为的第一性原理,很多和知觉行为相关的算法均可以从这一原理推得,比如强化学习,主动学习,贝叶斯最优推断,贝叶斯最优设计等。
主动推断可以基于最小化预期自由能实现,其本质上是在优化智能体对外部世界的信念。比如,一个猫头鹰饿了,那么接下来会做什么,很显然,其会去寻找食物。从目标函数优化的角度来看,猫头鹰需要基于当前的状态,采取动作,优化其状态-动作价值函数。但Karl Friston认为猫头鹰首先面临的问题是基于当前的状态,搜寻解决方案,不同的方案具有不同的不确定度,比如食物出现的位置,这些不确定度属于信念的一部分。故猫头鹰的目标函数不是关于状态的函数,而是关于自身对状态的信念的函数。主动推断从简单地考虑“如果我这样做会发生什么”的信念转变为“如果我这样做,我会相信发生什么”的信念。
Karl Friston进一步指出利用预期自由能的递归形式可以高效地实现对未来行动和结果的深度树搜索。其以小鼠在T型迷宫寻找食物奖赏为例,展示了主动推断可以帮助解决智能体探索-利用困境这一难题。
杜凯|大脑精细仿真,揭开生物智能的结构基础
刘嘉|通用智能演化系统,AGI的可能实现路径
Q1:DeepMind也曾发文称“Reward in enough” (“Powerful reinforcement learning agents could constitute a solution to artificial general intelligence.”)请问各位老师评价和看待这一观点?Reward是否真的Enough?以及有何补充。
刘嘉教授认为,奖励(Reward)从进化层面来讲就是生存(Survive)和繁衍(Reproduction)。生物的繁衍需要持续不断的奖励,但什么样的奖励可以构成有效的、能够推动智能体不断繁衍进化的损失函数,取决于所处的环境和具体的任务。“适者生存”可能只是定义了其中的一种,而另一种是“生”的对面——“死”。在精神分析领域,弗洛伊德早期提出过一种理论叫“生本能”。他从动物的角度讲包括人在内的所有动物都是为了更好的生存下去,这是进化的一个动力,从这个意义上,“Reward”可能是“Enough”的。但与“生本能”相对应的还有一个“死本能”。我对这两个“本能论”的理解是,对于个体来说,死亡永远是一个很糟糕的事情,人们能希望够活的越长越好。但是,从群体进化的角度来看,死亡可能是很好的事情,它能够推陈出新,实现群体的进化。
所以回到我们刚才所讲的奖励(Reward),可能只是从单个智能体的角度来考虑的。而如果考虑多智能体的情况,比如蚂蚁的协同共生性(Stigmergy)、人类作为群体的进化等,可能要从多个智能体的角度重新看待。“Reward is enough”这个观点需要进一步完善其在从多智能体情况下的适用性。
杜凯研究员认为,“Reward is enough”这个说法在计算科学机器学习的框架下,利用强化学习算法的方法可以解决一部分实际问题。但是从神经科学的基层逻辑来看,如果我们要拓展到去解决真实世界(real world)或在模拟的真实世界环境中去解决一些实际问题的话,“Reward is enough”可能还是存在一些局限性。宋森教授认为,从哲学角度来讲,“奖励最大化”对生存来讲是一个很重要的原则,但是具体到我们现在所说的reward-based learning这样一个具体的函数还是很不一样的,因为从基因到物种结构上的变化中间的过程是非常复杂且最重要的,同时还需要考虑环境等因素的影响,这些在进化过程中可能都需要考虑进去。
吴思教授认为,这句话本身比较狭隘,需要具体到实际应用中去看我们要用什么样的网络结构的算法来实现这样一个观点。陈良怡教授同样认为,“Reward is enough”,仅适用于特定的环境和情形。余山研究员认为“Reward”只是表明说目标函数很重要,但并没有提供很有有价值的信息。
Q2:人工智能与脑科学的双向互动与螺旋发展之[AI for Brain Science]
第一,技术应用层面,与会专家认为主要体现在以下几个方面:
1. 在生物医学工程领域,利用AI技术做动物里面的连接组学,比如利用计算机视觉技术识别电镜切片,重构神经元之间的连接等。
2. 在生物数据的处理上,原来用深度学习去处理像EEG或fMRI数据的时候任何人之间的数据差别是很大的(会导致模型很难迁移),但是现在有了元学习(Meta-learning/learning to learn)之后,就可以很容易解决人与人之间数据差别过大的问题。
3. 还有大家经常用深度学习,尤其是循环神经网络来拟合神经的数据,再把这里面得到连接的和我们大脑里面记录到的一些数据进行比较,试图来理解大脑的工作原理。
4. 人工智能技术在多组学分析领域,比如基因转录组的分子成像数据都是分布在不同的维度上,表现出不同的形式,这时我们就可以利用深度学习去做数据的降维和特征抽取,从而将高维的数据映射到可以理解的维度上,这对于理解基因的表达会非常有帮助。
此外,陈良怡教授举例表示,我们在利用深度学习技术去处理脑科学的一些数据的时候,有时候容易过于强调人工智能Data-driven的特性,在这一点上,可能需要更多引入物理或化学模型的先验知识,这可能是会对提高AI模型性能比较有帮助。
第二,科学探索层面:
刘嘉教授认为,AI技术提供了一个独立于生物智能系统的[智能的参照系]。利用这个参照系,我们可以找这种人工智能系统和生物智能系统的最大公约数,对比在这两种系统里面,哪些东西是AI特别能解决的,从而帮助我们的研究去问一些真智能的问题,同时从人类的角度来讲,哪些是人类特别容易解决而AI解决不了的,从而帮助我们判断人工智能的下一步发展究竟应该从哪些方面出发,去从人脑或者生物智能体得到启发。所以,人工智能和大脑两个智能的载体可以互为参照系,这对于我们提出一些关于智能的本质或者智能的原理等“真问题”会特别有帮助。
余山教授以“机器学习里面的灾难性遗忘问题”为例,表示原来脑科学家是没有问过这样的问题的,但是在AI系统中这个是一个非常重要的问题,是需要特殊的设计才可以解决的。所以我们才问脑子是怎么解决这个问题的,我们能不能从中找到一些机理性的启发。其他例子如大脑如何做符号化的表征,脑子为什么有这样一套强大的自然语言处理机制,可以实现符号接地的能力。所以,如果能够把AI系统和神经科学交融起来互相促进互相启发,会是非常有价值的一种研究的方式,通过提出好的问题来把两者交叉联合的力量或潜力发挥出来。
此外,杜凯研究员也表示,把AI作为参照系,对于计算神经科学也非常重要。计算神经科学有一个非常重要的作用,就是要去理解大脑运作的机制和原理。但是往往现有的生物学实验其实无法满足计算的需求,这样计算神经科学家提出的一些观点可能就无法被证实或证伪。现有有了人工智能之后,计算神经科学提出的理论或方法除了可以从传统的脑科学找到证据之外,还可以从人工智能里面得到印证。因此,人工智能对于神经科学和计算神经科学的帮助是非常大的,同时神经科学和计算神经科学的进步也会进一步推动我们对真智能的探索。
Q3:如何培养交叉学科创新人才?对从事交叉学科创新研究有何建议?
科学的发展是各个学科不断交叉融合的过程。参与圆桌环节的专家认为,推动国内交叉学科[人工智能X脑科学]的发展需要吸引一部分真正对交叉学科感兴趣、且有探索精神和跨界勇气的年轻人加入到基础研究的行列中,研究机构也要给年轻人提供各学科交流互动的平台。
具体地,有志于从事交叉学科研究的青年人才应该从以下几个方面培养和提升自己的交叉学科素养:
第一,要有探索的热情(Passion)。因为交叉学科基础研究不是一件容易的事情,需要有足够的热情来面对和抵抗可能压力。
第二,要在前期打好数理化的基础,追求当下时髦的、流行的概念不一定就是最用的,很多基础性的、原理性的东西往往能提供一些对推动重大创新的启发和洞见。
第三,要有在各学科之间“东窜西跳”的好奇心,能够广泛涉猎各学科的知识,培养自己跨界和“跨语言”的能力。
第四,要训练自己交叉学科的思维方式,同时也要敢于跳出固定学科的思维模式,去训练和提高自己的大脑在其他学科小样本数据上的迁移和泛化能力。
推荐阅读
智源大会自然语言处理论坛精华观点
梅宏院士:如何构造人工群体智能?| 智源大会特邀报告回顾
图灵奖得主Adi Shamir最新理论,揭秘对抗性样本奥秘 | 智源大会特邀报告回顾
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢