点击蓝字

关注我们


 

曾毅


中国科学院自动化研究所人工智能伦理与治理研究中心主任



中国科学院自动化研究所类脑认知智能团队打造全脉冲神经网络的类脑认知智能引擎(Brain-inspired Cognitive Intelligence Engine，简写为BrainCog，中文名“智脉”)，并进行全面开源开放，为探索面向通用人工智能的类脑智能研究提供基础性支撑，助力自然智能的计算本质探索和新一代人工智能的发展。相关文章于2023年8月11日作为Cell出版社旗下Patterns期刊封面文章发表。


类脑认知智能引擎“智脉”开源平台负责人曾毅研究员介绍到，“我们的类脑认知智能引擎BrainCog，中文称之为’智脉’。这个名字意义是智慧的脉络。我们的目标是深入探究大自然的智慧是如何形成的，从其起源、演化与发展，到对其未来的展望，受此启发我们希望通过‘智脉’来模拟甚至超越人类的高级认知能力，如类人概念学习、复杂决策、认知与情感共情以及道德和利他等社会智能。长远的人工智能会成为人类的协作伙伴，为此，我们正在持续构建类脑智能的基础设施，支持人类与人工智能及其它生命和谐共生的未来探索。”

智脉(BrainCog)的基础组件
团队助理研究员赵东城介绍到：类脑认知智能引擎(BrainCog)“智脉”以多尺度生物可塑性原理为基础，支持全脉冲神经网络建模，具备脑启发的人工智能模型以及脑功能和结构模拟能力。BrainCog为类脑人工智能和计算神经科学的研究者提供了一套相对完整的、系统化的接口组件。包括了不同精细程度的神经元计算模型，丰富的类脑学习与可塑性法则，不同的神经网络连接模式，多样的编码方式，丰富的功能性脑区模型以及软硬件协同系统。
类脑认知智能引擎“智脉”BrainCog的计算组件与应用
“在类脑人工智能计算模型方面，智脉覆盖有无监督学习、有监督学习、强化学习、小样本学习、多感觉融合的概念学习、音乐序列学习与创作、知识表征与推理、运动控制，以及以人形机器人为载体的自我建模、心理揣测、情感共情等高等认知功能、以无人机为载体的集群自组织决策等智能应用。在脑结构和功能模拟方面，首先智脉集成了多尺度的脑结构模拟，从神经微环路、皮层功能柱到初步的鼠脑、猴脑、人脑全脑脉冲神经网络模拟。在功能模拟方面，目前智脉提供工作记忆、线性和非线性决策的计算模拟，并欢迎学术与产业界共同拓展BrainCog的潜力。” BrainCog团队博士生董一廷介绍。
“智脉持续地升级基于脉冲神经网络（Spiking Neural Network, SNN）的类脑人工智能研究进展，自发布以来在神经元模型、编码方式、SNN网络架构、SNN优化算法、数据集以及多项类脑认知功能方面均进行了实质性的拓展。目前智脉除了具有经典的神经元类型以及编码方式之外，还集成了BrainCog团队研究的多房室神经元、量子编码等；同时，对于近两年比较代表性的SNN算法都进行了复现与支持，对于SNN领域较为常见的数据集都提供了相对完备的接口，如ES-ImageNet，以及BrainCog团队研发的小样本神经形态数据集N-Omniglot；在软硬件协同方面，也有了新的进展，推出了“智脉·萤火”，使类脑脉冲神经网络向迈向实用化前进了一步。”BrainCog团队博士生申国斌介绍。
面向通用人工智能的智脉(BrainCog)：
认知功能进展
平台开源开放至今BrainCog又经一年的发展，累计十年磨一剑，不断在基本组件、认知功能、脑模拟、软硬件协同等方面提供原创和集成更丰富与先进的案例。具体从感知与学习、知识表征与推理、决策、具身智能、社会认知、发育演化等方面取得了实质性的进展，拓展到35个模型算法与案例。在软硬件协同方面，推出了“智脉·萤火”(BrainCog Firefly)系列。
感知与学习
BrainCog团队博士生李杨介绍到，BrainCog建立在多尺度生物可塑性原理基础上，支持全脉冲神经网络的建模，并整合了丰富的以脉冲时序依赖可塑性(STDP)为核心的类脑学习与可塑性法则体系。为了更好地支持当代人工智能应用，BrainCog还提供了基于代理梯度的反向传播方法，包括各种形式的代理梯度和网络模型，帮助研究者实现和设计更具生物合理性的时间空间调节算法。此外，为发挥脉冲神经网络低能耗和高效推理的特性，BrainCog还提供了一套完整的基于预训练人工神经网络模型的转换方法，能够以极低的时间延迟实现脉冲神经网络，并具有与当前人工神经网络相当的表现，博士生何翔介绍。
BrainCog团队研究工程师范津宇介绍到，目前即使是最先进的人工智能模型也难以应对人类感知可以相对容易应对的幻觉轮廓挑战，BrainCog提供了能够将普通的手写数字识别数据集和物体剪影型数据转换成幻觉轮廓数据集的变换。经过变换后的数字或物体轮廓，没有实际的边界，但是人类视觉系统能够在这些位置重构出轮廓的幻觉。这种幻觉轮廓型数据对于当前的物体识别人工神经网络具有极高的挑战性。
高精度MNIST幻觉轮廓数据集样本展示
16-class-ImageNet剪影型数据幻觉轮廓数据集样本展示
知识表示
BrainCog团队助理研究员王寓巍介绍到，认知心理学研究揭示人类进行概念学习的三元网络模型主要由多模态经验系统、语言支撑系统和语义控制系统组成，基于BrainCog，我们对每个系统分别进行建模，协同概念的多感觉信息与文本信息，构建类人的概念学习脉冲神经网络计算模型。该模型所生成的概念表征能够更为接近人类行为，助力概念学习的下游任务发展。
基于BrainCog的类人概念学习计算模型
决策
“BrainCog既支持对生物脑决策机理的建模，也包含解决复杂决策任务的类脑脉冲神经网络的构建。在对脑决策机理建模方面，BrainCog构建的多脑区协同自主决策脉冲神经网络，融合对多个脑区之间兴奋、抑制性连接的结构建模，以及对多巴胺全局调控与局部STDP可塑性的学习机理借鉴，我们还以Flappy Bird电子游戏为例，研究了微观到神经元中不同类型的离子通道对宏观人类学习与决策行为的影响，BrainCog的类脑决策模型支持无人机真实场景下飞过门、窗、避障，以及无人机集群类食蚜蝇的生存定域实验。此外，基于BrainCog实现的神经元和脑区，实现了脉冲神经网络在复杂任务上的决策功能，比如基于脉冲神经网络的深度强化学习，在BrainCog的支持下实现了脉冲神经网络DQN模型，基于多房室脉冲神经元和神经元群体编码的类脑深度值分布强化学习模型，实现了视觉输入情况下类脑决策脉冲神经网络的学习与优化，在Atari游戏上效果好于传统基于ANN的深度强化学习模型“，BrainCog团队副研究员赵菲菲及助理研究员孙胤乾介绍。
具身认知
过去一年，BrainCog进一步在智能体自我感知方面有了新的进展。BrainCog团队副研究员赵宇轩介绍到，具身认知中最核心的一点是智能体对自己身体的感知，其中一个经典问题是橡皮手错觉是如何产生的。对此，课题团队通过BrainCog构建的类脑身体自我感知模型，利用BrainCog基类connection构建脑区间的连接并设定初始权重，通过BrainCog基类node中Izhikevich神经元模型构建各个相关脑区，进而在iCub人形机器人上通过橡皮手错觉实验验证了该模型。实验结果表明，在智能体自我躯体感知方面，机器人能够表现出和猕猴生物实验中类似的行为结果，这初步验证了为机器人赋予身体自我的可能性。

基于BrainCog的类脑身体自我感知模型机器人

橡皮手错觉实验
社会认知
社会认知是维系生物体和谐社会生活不可或缺的能力。“BrainCog支持自我感知、初步的情感共情和认知共情/心理揣测功能，通过借鉴人脑的镜像机制和心理揣测神经机制，能够初步实现对其他智能体的情感和意图的理解。其中的核心模型包括一个能反映智能体内部情感状态的类脑人工情感模型，以及一个由心理揣测机制启发的类脑模型，能够基于自身经验和对他人的历史观测揣测他人行为”，BrainCog团队博士生冯慧和赵卓雅介绍。此外，“结合脑科学和神经科学在强化学习领域的研究成果，BrainCog实现了类脑意图预测模型，该模型可以使机器人通过用户手势预测用户意图，并在用户意图改变时学习新的意图”， BrainCog团队副研究员赵宇轩介绍。
具有心理揣测模型的智能体与环境交互
发育与演化
“人脑神经系统的结构和功能不是一成不变的，而是几亿年自然演化而来的，且在与环境交互中动态发育和自组织、自适应调节。借鉴人脑发育过程中树突棘、突触、神经元的动态生长消亡、放大收缩机制，我们基于BrainCog实现了多尺度地结构自适应发育脉冲神经网络，基于“用进废退”的发育机理，自适应地生长和剪枝树突棘、突触、神经元等，动态塑造结构以节省能耗同时提升多任务连续学习的性能。受人脑神经系统复杂结构的演化机理启发，BrainCog以演化出类似人脑小世界结构为目标，从随机连接的脉冲神经网络开始自适应地演化得到类人脑的高效网络结构，在展现出hub节点、模块化结构的同时，在不同任务上取得较好的性能。此外。基于STDP突触可塑性机制，自适应地演化出前向兴奋、前向抑制、反馈抑制和侧向抑制等人脑中常用的神经回路，一定程度反映了人脑神经微环路的演化机理“，BrainCog团队博士生韩冰、潘文萱和申国斌介绍到。
基于智脉(BrainCog)的脑模拟

BrainCog团队副研究员张倩，博士生王纪航和杜骋骋介绍：通过计算建模，对全脑的多尺度活动特征进行模拟，有助于我们了解神经活动的基本规律，并探索不同因素的变化对于大脑功能的影响。基于脑区间的生物连接数据，BrainCog对鼠脑、猴脑、人脑的全脑神经元活动进行了模拟。用户可以有选择地调用HH或aEIF神经元进行模拟。除此之外，BrainCog在脑区间和脑区内加入突触连接，并使用稀疏矩阵存储，减小了突触的内存占用，与此同时BrainCog还实现了全脑神经元和突触在GPU上的并行化计算，能够高速地模拟上亿神经元和突触的活动。速度的提升有利于研究大规模脑区的精细化建模，未来在脑模拟方面，BrainCog将融入更多的脑科学知识，从软硬件两方面实现大规模脑模拟速度的提升。

 基于BrainCog的鼠脑、猴脑、人脑模拟引擎
软硬件协同创新
智脉(BrainCog)致力于通过软硬件协同优化构建新一代人工智能的基础设施。近期研制并发布了基于FPGA的类脑脉冲神经网络加速器“智脉·萤火”（BrainCog FireFly），能在硬件层面提升脉冲神经网络在边缘设备上的推理性能。BrainCog团队硕士生李金东介绍：“智脉·萤火”集成了针对FPGA器件特点的DSP运算优化策略和适配脉冲神经网络数据流模式的高效的突触权重和膜电压的访存系统，在ZCU104器件上达到5.53TOP/s的运算吞吐率，使其能够在若干深层脉冲神经网络中达到毫秒级别的推理延时。
“智脉·萤火”是一款面向边缘型FPGA器件的轻量级加速器，适合部署于现实任务场景中，“智脉·萤火”在用于基于脉冲神经网络的智能车自主视觉定位导航、基于事件相机的无人机高速避障、机器人环境探索与复杂任务自适应协同等任务当中都具有较大潜力。
 “智脉·萤火”的硬件架构
基于“智脉”的人工智能引擎创生(BORN)
基于BrainCog框架开发的致力于获得通用认知能力的脉冲神经网络人工智能引擎—创生，以自我（Self）为核心，整合时空可塑性，集成感知与学习、工作记忆、长时记忆、知识表征和推理、决策、运动控制、注意力和意识、共情、社会认知等大脑认知功能。BORN以跨时空可塑性为基础，其中空间可塑性结合了微观、介观和宏观尺度的神经可塑性原理，时间可塑性考虑了处于不同时间尺度的学习、发育和演化可塑性。BORN着重研究自我建模、具身智能、道德决策、自主身体发育及演化、多智能体协作、共情与心理揣测等社会认知能力，并发展类儿童的概念学习、多任务连续学习、小样本学习、多模态概念学习、在线学习等多项类儿童学习能力的自组织融合。BORN致力于通过研究和发展机器自我、类儿童学习理论体系来助力人类与人工智能的和谐共生。
创生（BORN）人工智能引擎
经过长期积累，智脉BrainCog目前已经初步整合了课题组前期基于自我的镜像测试、橡皮手实验、心理揣测、情感共情的认知模拟，并以创生人工智能引擎BORN为核心进一步提升类脑智能体基于自我的自组织学习能力。
在不同学习模型的协同方面，BORN以智脉BrainCog为计算基础平台，初步实现了融合感知与学习、序列学习与生成、知识表征与推理、运动控制等多项认知功能的基于人形机器人和情感驱动的乐曲创作与演奏。支持人形机器人实现视觉情感识别、情感依赖的音乐创作和人形机器人乐曲演奏。

基于BORN的人形机器人多认知功能

协同情感驱动音乐创作与演奏
展望
类脑认知智能引擎“智脉(BrainCog)”作为致力于通用人工智能研发的类脑全脉冲神经网络人工智能平台，自2022年7月19日发布以来已满一年，获得了国内外众多科研机构、高校和企业的广泛关注。“智脉(BrainCog)”平台自发布以来，网络下载量累积万余次，在Bilibili上定期发布的智脉基础研发教程“智脉说”已累计30期，获得了近5万人次的观看，公众号“智能的本质与未来”定期持续刊登“智脉说”文本与视频教程，得到了广泛关注。“智脉(BrainCog)”自发布以来不断地被丰富和优化，在学术进展方面拓展了基础架构及应用样例，在社区建设方面先后开源部署至多个国内外开源开放平台，服务全球人工智能及脑与心智模拟的科学研究与应用。此次Cell出版社Patterns期刊在第8卷第4期以封面文章的形式正式刊发“智脉(BrainCog)”论文，既是对“智脉(BrainCog)”平台十年磨一剑持续研究的肯定，更是对未来研究的鞭策。“智脉(BrainCog)”致力于成为由学术界、产业界和社区共同推动的人工智能开源开放平台，期待人工智能学者、研发人员、科技企业共同加入，一起推动平台的发展。

类脑认知智能引擎“智脉(BrainCog)”研发团队负责人曾毅研究员说：“类脑认知智能引擎‘智脉(BrainCog)’的理论基础与源泉是面向通用智能的类脑认知智能理论体系，‘智脉(BrainCog)’开源开放平台是理论落地付诸应用实践和可持续创新的载体。无论是理论还是平台，想要拥有如人般数百项认知功能及其自组织协同的能力，实现科学意义上的通用人工智能，并同时确保对人类与生态有益，必然要经历至少数十年脚踏实地的努力，我和类脑认知智能团队的各位成员都充满信心，同时我们也邀请广大学术和产业同仁共聚智慧，为实现人工智能与人类和生态的和谐共生潜心探索”



类脑认知智能团队

类脑认知智能团队(BrainCog Lab)隶属于中国科学院自动化研究所，团队成立于2013年，是从事类脑人工智能前沿理论和脑与智能交叉创新的研究团队。由中国科学院自动化研究所脑图谱与类脑智能实验室副主任曾毅研究员担任团队负责人。

类脑认知智能团队以构建面向通用人工智能的类脑认知智能模型与应用为主要研究内容，特别是在类脑脉冲神经网络学习、发育与演化机理、类脑可塑性理论体系、类脑知识表征与推理、类脑决策理论、意识计算模型、情感与伦理道德的类脑模型等方面开展研究。

团队研制的类脑认知智能引擎“智脉(BrainCog)”致力于为新一代人工智能前沿探索打造基于脉冲神经网络的通用人工智能引擎，服务于人类与人工智能的和谐共生。

类脑认知智能团队(BrainCog Lab)主页：http://www.braincog.ai

类脑认知智能引擎“智脉(BrainCog)”主页：http://www.brain-cog.network/


关于我们

清华大学人工智能国际治理研究院（Institute for AI International Governance, Tsinghua University，THU I-AIIG）是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势，研究院面向人工智能国际治理重大理论问题及政策需求开展研究，致力于提升清华在该领域的全球学术影响力和政策引领作用，为中国积极参与人工智能国际治理提供智力支撑。

新浪微博：@清华大学人工智能国际治理研究院

微信视频号：THU-AIIG

Bilibili：清华大学AIIG

来源 | 本文转载自中科院自动化研究所，点击“阅读原文”获取更多内容