导语


脑研究如何启发设计出更好的AI，是我们AI by Complexity读书会的一个重要议题。第十期将由复旦大学于玉国教授分享，对高度稀疏性、变异性和能量高效性等现象做理论分析，加深我们对大脑高效运行的理解，更能为设计超低功耗下一代AI模型和算法提供启示。




内容简介




大脑皮层神经元如何通过动态放电模式有效地表征感觉刺激，是一个重要的核心科学问题。针对过去30年来实验和计算神经科学家发现的神经元和网络在信号学习过程呈现出的高度稀疏性、变异性和能量高效性等现象。神经响应的高度变异性是否反映了神经系统本身的编码性能还是内在随机性也存在较大争论。我们尝试针对这多个特征内在的关系做一个理论解析。通过对三个概念的定义，我们做了数学推导和分析，发现在变化各种刺激条件下带来的神经响应活动的多种典型统计分布，神经活动的稀疏性和变异系数呈现出一个完美的函数关系；进而我们论证了这两个概念的本质其实正是信息表征的能效比，即给定能耗的情况下，神经系统可表征的信息量。因此神经网络在学习过程呈现出的高度变异性其实本质就是高效稀疏编码特性，也就是在给定能耗情况系统演化出的最大化信息表征量。由此这一基本理论框架有助于较全面理解脑的高效学习和网络演化趋势，为设计受脑启发的超低功耗新一代人工智能模型和算法提供了有益的启示。




关键词




稀疏性；不规则性；高能效性；神经编码





分享大纲



 

1. 研究的科学背景

2. 神经脉冲放电活动的变异性和稀疏性（S-CV）及两者等价性

3. 神经网络高能效编码能力的指标：放电不规则性和稀疏性

4. S-CV 的本质对AI模型及发展高能效可靠算法的启发





参考文献



 

  1. Huang, M., Lin, W., Roe, A., & Yu, Y. (2024) A Unified Theory of Response Sparsity and Variability for Energy-Efficient Neural Coding. Preprint on BIORXIV/2024/614987.
  2. Rolls, E. T., & Tovee, M. J. (1995). Sparseness of the neuronal representation of stimuli in the primate temporal visual cortex. Journal of Neurophysiology, 73, 713-726.
  3. Treves, A., & Rolls, E. (2009). What determines the capacity of autoassociative memories in the brain? Network Computation in Neural Systems, 2, 371-397.
  4. Haider, B., Krause, M. R., Duque, A., et al. (2010). Synaptic and network mechanisms of sparse and reliable visual cortical activity during nonclassical receptive field stimulation. Neuron, 65, 107-121.
  5. Olshausen, B. A., & Field, D. J. (2004). Sparse coding of sensory inputs. Current Opinion in Neurobiology, 14, 481-487.
  6. Softky, W. R., & Koch, C. (1993). The highly irregular firing of cortical cells is inconsistent with temporal integration of random EPSPs. Journal of Neuroscience, 13, 334-350.
  7. Lengler, J., & Steger, A. (2017). Note on the coefficient of variations of neuronal spike trains. Biological Cybernetics, 111, 229-235.
  8. Yu, Y., Migliore, M., Hines, M. L., & Shepherd, G. M. (2014). Sparse coding and lateral inhibition arising from balanced and unbalanced dendrodendritic excitation and inhibition. Journal of Neuroscience, 34, 13701–13713.
  9. Yu, Y., McTavish, T. S., Hines, M. L., Shepherd, G. M., Valenti, C., & Migliore, M. (2013). Sparse distributed representation of odors in a large-scale olfactory bulb circuit. PLoS Computational Biology, 9, e1003014.
  10. Marder, E. (2011). Variability, compensation, and modulation in neurons and circuits. Proceedings of the National Academy of Sciences, 108, 15542-15548.
  11. Faisal, A. A., Selen, L. P., & Wolpert, D. M. (2008). Noise in the nervous system. Nature Reviews Neuroscience, 9, 292-303.



主讲人




于玉国，复旦大学智能复杂体系基础理论与关键技术实验室教授、医学神经生物学国家重点实验室双聘研究员。南京大学物理学博士(2001)，美国卡耐基梅隆大学计算神经科学博士后(2001-2004)，耶鲁大学医学院博士后和副研究员(2005-2011)。中国计算神经科学学会、脑机融合与生物机器智能专业委员会，生物医学工程与自动化控制专委会等学会委员，IEEE Transactions on Cognitive and Developmental Systems，Front in Comp Neurosci和Cog.Neurody等期刊副主编。主持科技部重大项目课题和国自然基金等10余项。在Nature, PNAS，Neuron, Physical Review Letters, J Neurosci, PLoS Comp Biol等发表SCI论文70余篇。研究方向：脑启发的智能复杂系统理论和神经计算机制。
斑图主页：https://pattern.swarma.org/user/13970




直播信息



 

直播时间：9月28日（周六）15:00-17:00


报名直播：
报名参与读书会，可腾讯会议线上讨论：
斑图链接：https://pattern.swarma.org/study_group/45?from=wechat


扫码参与AI by Complexity 读书会加入群聊，获取系列读书会回看权限，加入AI by Complexity社区，与社区的一线科研工作者沟通交流，共同探索复杂科学与AI交叉的前沿领域的发展。


报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统



AI By Complexity读书会招募中



大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。


集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！



详情请见：
AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统



往期分享：

  1. 第一期 张章 于玉国 田洋 牟牧云 刘宇 杨明哲：复杂性怎样量化和驱动下一代AI系统
  2. 第二期 徐奕舟 翁康宇：统计物理与信息论视角下，结构化噪声与神经网络初始化研究
  3. 第三期 刘宇：“压缩即智能”与算法信息论
  4. 第四期 程奥华 熊巍：从高阶相互作用到神经算子模型：启发更好的AI
  5. 第五期 蒋春恒：网络属性决定神经网络模型性能
  6. 第六期 杨明哲：因果涌现启发AI的“思考”
  7. 第七期 朱群喜：从复杂系统到生成式人工智能

  8. 第九期 兰岳恒：生命、智能涌现与复杂系统研究



点击“阅读原文”，报名读书会

内容中包含的图片若涉及版权问题，请及时与我们联系删除