导语


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。从2021年夏天至今，集智俱乐部已经陆续举办了四季「因果涌现」读书会，系统梳理了因果涌现理论的发展脉络，深入探讨了信息整合与信息分解的本质，并探索了在生物网络、脑网络、机器学习等跨学科领域的应用。此次因果涌现读书会第五季将追踪因果涌现领域的前沿进展，展示集智社区成员的原创性工作，希望探讨因果涌现理论、复杂系统的低秩表示理论、本征微观态理论之间的相通之处，对复杂系统的涌现现象有更深刻的理解。读书会从2024年4月19日开始，每周五晚20:00-22:00进行，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！

研究领域：复杂系统，因果涌现，信息分解，奇异值分解，本征微观态，协同核



读书会简介




2014年，计算神经科学家 Erik Hoel 提出了因果涌现理论，该理论不仅对什么是涌现，以及涌现的因果给出了定量化描述，而且还有望为回答为什么会有生命，什么是意识，以及什么是自由意志（Free will）等哲学问题奠定科学基础。2020年，当时在伦敦帝国理工学院复杂系统中心的 Fernado E. Rosas 等人又从信息分解的角度重新量化了因果涌现的概念，使得它更加定量化、数学化，与长久发展的信息论建立了深刻的联系，而且大大拓宽了该理论的应用领域。

从2021年8月开始，集智俱乐部已经陆续举办了四季「因果涌现」读书会，这一系列读书会的成员不仅回顾了因果涌现理论的发展脉络，而且在近期开展了前沿工作，为该领域添砖加瓦，包括社区成员袁冰、张江、崔鹏等人合著的综述《Emergence and Causality in Complex Systems: A Survey of Causal Emergence and Related Quantitative Studies》，吕奥博等人在定量化信息分解领域的工作，以及张江等人在“因果涌现与动力学可逆性”方面的工作等。本季读书会我们不仅请来了Rosas介绍他们最新的工作，而且也提供了一个舞台，展示社区成员的原创性工作。

本季读书会分成两部分，一部分是有关因果涌现理论方面的最新进展，包括信息分解的定量化、动力学可逆性与因果涌现，以及复杂系统的低秩表示理论、本征微观态理论等，第二部分是这些理论在脑科学及其它学科上的应用。事实上，因果涌现理论、复杂系统的低秩表示理论、本征微观态理论这三者之间在根本上具有相通之处：

首先，三者都牵涉到奇异值分解（Singular Value Decomposition，SVD），而且奇异值或对应的特征向量都在复杂系统研究中起到了重要作用。例如，在 Dynamics Reversibility and a new theory of causal emergence 这项研究中，动力学马尔科夫矩阵的奇异值之和与因果涌现关键指标 EI 近似等价，于是提出一种基于 SVD 的因果涌现新理论。The low-rank hypothesis of complex systems 这项研究也是将复杂系统的动力学展开奇异值分解，然后根据奇异值等相关属性得到复杂系统的低维表示。本征微观态理论主要针对的是复杂系统的涨落展开奇异值分解，并得出对应特征向量可揭示复杂系统的重要行为。

其次，三者都在寻求低维表示。复杂系统之所以是 complex 而不是 complicated，就是因为复杂现象背后往往存在着简单的原理，而这种简单性其实就是一种低维表示。所以，对于一个复杂系统来说，如何找到一种低维表示就起到了至关重要的作用。而 SVD 显然是诸多低维表示方法中最简单有效的一种方法。

再者，所谓的涌现现象，有一种说法就是存在一种低维流形可以近似表示复杂系统动力学。这也是和上述观点一致的。因此，研究复杂系统的低维表示有助于我们理解涌现现象。




读书会框架







发起人




张江，北京师范大学系统科学学院教授，集智俱乐部、集智学园、集智科学研究中心创始人，曾任腾讯研究院、华为战略研究院等特聘顾问。主要研究领域包括复杂系统分析与建模、规模理论等。

袁冰，集智科学研究中心技术与产品顾问。毕业于华中科技大学，研究兴趣包括因果推断、复杂科学，以及人工智能相关领域。

吕奥博，圣路易斯华盛顿大学（WUSTL）系统科学与数学系在读博士。研究方向为系统科学、信息论等。

王志鹏，北京师范大学在读博士，研究兴趣包括复杂系统多尺度建模、因果涌现以及图上的组合优化等。

邱仲普，北京师范大学系统科学学院系统理论专业博士生。主要从事相变与临界现象、地球系统复杂性与临界性分析、复杂网络上的同步与涌现动力学等方面的研究。

本季读书会运营负责人
梁金，统计物理硕士，集智俱乐部副主编，感兴趣方向：物理，因果涌现，自由能原理。



第一期预告




什么是意识？意识能否度量？机器能否产生意识？如果我们相信意识是大脑神经活动的涌现结果，那么理解什么是涌现便成为理解意识过程的一个重要环节，Erik Hoel 和 Giulio Tononi 共同提出的因果涌现理论（Causal Emerngece）为定量刻画涌现提供了一套框架。因果涌现理论目前发展出两个派别：一个是 Erik Hoel 的有效信息因果涌现框架，另一个是 Fernando Rosas 的信息分解（Partial Information Decomposition，简称PID）框架。这里信息分解是对香农互信息（Mutual Information）进行进一步拆分，用协同、冗余和特有（Synergy, Redundency, Unique）这三种度量尝试刻画多变量系统的复杂关系。更进一步，Rosas 基于信息分解理论又提出融合了整合信息论的信息分解框架 ΦID，并基于此尝试构建新的意识理论。

此次读书会我们邀请到了萨塞克斯大学（University of Sussex）脑科学研究中心和复杂科学中心（Centre for Psychedelic Research and the Centre for Complexity Science）的 Fernando E. Rosas 分享他在基于整合信息分解的因果涌现框架方面的新工作。Rosas 的研究聚焦于分析分布式复杂系统，解决计算神经科学、复杂科学和机器学习交叉领域的问题，旨在揭示驱动分布式多智能体系统计算的迷人原则：它们如何实现整体大于部分之和，共同执行单个个体无法实现的任务，甚至产生预先未定义的新特性。Rosas 的学习和研究经历非常丰富，本科先后获得音乐理论与作曲、数学学士学位，之后取得电气工程硕士学位和哲学博士学位，2017-2022年间在伦敦帝国理工学院从事研究工作。





报名参与读书会




本读书会适合参与的对象

  • 基于复杂系统相关学科研究，对信息论、因果涌现、信息分解、奇异值分解、本征微观态、脑与涌现等主题有有浓厚兴趣的科研工作者；

  • 具有一定复杂系统建模、人工智能、信息论、神经科学、物理、生物等相关领域学科背景，想进一步进行交叉学科研究与交流的学者、研究生、本科生。

  • 对复杂科学充满激情，对认知、智能和意识问题充满好奇的探索者，且具备一定的英文文献阅读能力。

  • 想锻炼自己科研能力或者有出国留学计划的高年级本科生及研究生。


本读书会谢绝参与的对象

为确保专业性和讨论的聚焦，本读书会谢绝脱离读书会文本和复杂科学问题本身的空泛的哲学和思辨式讨论；不提倡过度引申在社会、人文、管理、政治、经济等应用层面的讨论。我们将对参与人员进行筛选，如果出现讨论内容不符合要求、经提醒无效者，会被移除群聊并对未参与部分退费，解释权归集智俱乐部所有。


运行模式

本季读书会预计讨论分享8-10次，以主题分享的形式按照暂定框架贯次展开；

每周进行线上会议，由读书会成员以PPT讲解的形式领读相关论文，与会者可以广泛参与讨论，会后可以获得视频回放持续学习。


举办时间

从2024年4月19日开始，每周五晚20:00-22:00，持续时间预计8-10周。
我们也会对每次分享的内容进行录制，剪辑后发布在集智斑图网站上，供读书会成员回看，因此报名的成员可以根据自己的时间自由安排学习时间。


参与方式

此次读书会为线上闭门读书会，采用的会议软件是腾讯会议（请提前下载安装）。在扫码完成报名并添加负责人微信后，负责人会将您拉入交流社区（微信群），入群后告知具体的会议号码。

报名方式
第一步：扫码填写报名信息
扫码报名读书会

斑图地址：https://pattern.swarma.org/study_group/43

第二步：填写信息后，付费299元。

第三步：添加负责人微信，拉入对应主题的读书会社区（微信群）。

本读书会可开发票，请联系相关负责人沟通详情。


针对学生的退费机制
读书会通过共学共研的机制，围绕前沿主题进行内容梳理和沉淀，所以针对于学生，可以通过参与共创任务，获取积分，积分达到退费标准之后，可以直接退费。

加入社区后可以获得的资源

在线会议室沉浸式讨论：与主讲人即时讨论交流

交互式播放器高效回看：快速定位主讲人提到的术语、论文、大纲、讨论等重要时间点

高质量的主题微信社群：硕博比例超过80%的成员微信社区，闭门夜谈和交流

超多学习资源随手可得：从不同尺度记录主题下的路径、词条、前沿解读、算法、学者等

参与社区内容共创任务：读书会笔记、百科词条、公众号文章、论文解读分享等不同难度共创任务，在学习中贡献，在付出中收获。

共享追踪主题前沿进展：在群内和公众号分享最新进展，领域论文速递


参与共创任务，共建学术社区

读书会笔记：在交互式播放器上记录术语和参考文献

集智百科词条：围绕读书会主题中重要且前沿的知识概念梳理成词条。例如：

论文解读分享：认领待读列表中的论文，以主题报告的形式在社区分享

公众号文章：以翻译整理或者原创生产形式生产公众号文章，以介绍前沿进展。例如：

论文翻译

科普文章翻译

讲座整理

PS：具体参与方式可以加入读书会后查看对应的共创任务列表，领取任务，与运营负责人沟通详情，上述规则的最终解释权归集智俱乐部所有。





读书会论文列表



 

扫码阅读并收藏读书会参考文献列表
斑图路径：https://pattern.swarma.org/article/295


  1. 基于整合信息分解的因果涌现


[1] Mediano, P. A., Rosas, F., Carhart-Harris, R. L., Seth, A. K., & Barrett, A. B. (2019). Beyond integrated information: A taxonomy of information dynamics phenomena. arXiv preprint arXiv:1909.02297.

提出整合信息分解（ΦID）的理论文章，将整合信息的指标Φ与信息分解框架相结合

论文解读：《从分解到整合：整合信息分解框架》

[2] Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, Neuroscience of Consciousness, Volume 2021, Issue 2, 2021, niab027, https://doi.org/10.1093/nc/niab027

基于整合信息分解（ΦID）框架定义因果涌现

[3] Rosas, F. E., Mediano, P. A., Jensen, H. J., Seth, A. K., Barrett, A. B., Carhart-Harris, R. L., & Bor, D. (2020). Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12), e1008289.
本文提出基于整合信息分解的因果涌现定义，利用一组充分指标规避了信息分解无法精确计算的问题，并在三个例子中进行了验证。
论文翻译：《量化涌现：信息论方法识别多变量数据中的因果涌现》


  1. 复杂系统中的因果与涌现综述


涌现（Emergence）和因果（causality）是理解复杂系统的两个基本概念，它们之间相互关联。一方面，涌现指的是宏观性质不能仅归因于个体性质的现象。另一方面，因果性可以呈现出涌现，意味着随着抽象层次的提高，可能会出现新的因果定律。因果涌现理论旨在连接这两个概念，甚至使用因果性度量来量化涌现。这篇最新综述文章全面回顾了因果涌现的定量理论和应用的最新进展。该综述解决了两个关键问题：量化因果涌现和在数据中识别涌现。解决后者需要使用机器学习技术，从而在因果涌现和人工智能之间建立联系。本文强调，用于识别因果涌现的架构与因果表征学习、因果模型抽象和基于世界模型的强化学习具有相通之处。

[4] Yuan, Bing, et al. Emergence and causality in complex systems: A survey of causal emergence and related quantitative studies. Entropy 26.2 (2024): 108. https://www.mdpi.com/1099-4300/26/2/108
论文解读：《集智科学研究中心重磅综述：复杂系统中的因果和涌现》


  1. 基于do操作的信息分解定量化


两个随机变量之间的互信息是一个被广泛研究的概念，然而一个随机变量与另外一对随机变量之间的互信息是一个更加复杂的概念。具体而言，香农互信息并不能捕捉到三个变量之间的精细相互作用，使得在多变量相互作用的复杂系统中的应用有限。为了捕捉这些精细相互作用，2010年Williams和 Beer提出将互信息分解为信息原子，分为特有、冗余和协同信息，并提出这些信息原子必须满足的几个公理。不过现有研究尚未找到一个满足这些公理及相关性质的显示公式。受 Judea Pearl 的 do-算子启发，这项研究通过引入do操作，提供了一个满足Williams和Beer的公理以及领域内后续研究的其他性质的显示计算信息原子的公式。

[5] Lyu, Aobo, Andrew Clark, and Netanel Raviv. Explicit Formula for Partial Information Decomposition. arXiv preprint arXiv:2402.03554 (2024). https://arxiv.org/abs/2402.03554
[6] Williams, Paul L., and Randall D. Beer. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515 (2010).
论文解读：《互信息的“微积分”》


  1. 动力学可逆性与因果涌现新理论


基于有效信息的因果涌现理论表明，复杂系统可能表现出一种称为因果涌现的现象，其中宏观动力学展现出比微观动力学更强的因果效应。然而，这一理论面临的挑战是依赖于对系统进行粗粒化的方法。这项研究提出动力学可逆性（dynamical reversibility）这一概念，并基于此建立了一套与粗粒化方法无关的因果涌现理论。研究发现了动力学可逆性与用于衡量因果效应的有效信息之间近似的渐近对数关系，还提出一种捕捉马尔可夫动力学固有属性的因果涌现的新定义和量化方法。

[7] Zhang, Jiang, Ruyi Tao, and Bing Yuan. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054 (2024). https://arxiv.org/abs/2402.15054


  1. 复杂系统的低秩表示理论


复杂系统是高维非线性的动力系统，其组成成分之间存在异质相互作用。为了对复杂系统的大规模行为做出可解释的预测，通常假定这些动力学可以简化为几个方程，涉及描述相互作用网络的低秩矩阵。这篇近期发表于 Nature Physics 的最新研究关注并探讨这种低秩假设（low-rank hypothesis）的有效性，证实许多复杂系统可以被简化，并且仍然保留初始高维网络的基本特征。研究还表明，高阶相互作用从降维中自然涌现，从而为复杂系统中高阶相互作用的起源提供了启示。

[8] Thibeault, V., Allard, A. & Desrosiers, P. The low-rank hypothesis of complex systems. Nat. Phys. 20, 294–302 (2024). https://doi.org/10.1038/s41567-023-02303-0
《Nature Physics评论：复杂系统的内在简单性》


  1. 本征微观态理论及应用


复杂科学的一个核心问题是研究各个领域内复杂系统集体行为的涌现机制，而相变与临界现象则是系统最显著的集体行为。相变与临界现象的研究对象逐渐由过去的无穷大平衡系统扩展到自然与社会复杂系统。平衡系统微观态的分布是已知的，而复杂系统一般处于非平衡态，其微观态分布以及序参量一般来说是未知的，这就给复杂系统研究提出了新挑战。针对这些问题，北京师范大学陈晓松教授与合作者提出基于本征微观态（Eigen microstates，EM）的理论方法来分析复杂系统的相变与临界现象及其动态演化。

[9] Zhigang Zheng，et al. Order parameter dynamics in complex systems: From models to data. Chaos 34, 022101 (2024). https://doi.org/10.1063/5.0180340
[10] Sun, Yu, et al. Eigen microstates and their evolutions in complex systems. Communications in Theoretical Physics 73.6 (2021): 065603. https://iopscience.iop.org/article/10.1088/1572-9494/abf127/meta
[11] Liu, Teng, et al. Renormalization group theory of eigen microstates. Chinese Physics Letters 39.8 (2022): 080503. https://iopscience.iop.org/article/10.1088/0256-307X/39/8/080503/meta
前沿解读：基于本征微观态分析复杂系统相变与临界现象
前沿进展：本征微观态的重整化群理论


  1. 大脑演化和认知的协同核


大脑如何将多种来源的信息编排成统一的意识体验？神经信息处理的组织如何使人类的认知变得复杂？Luppi 等人在研究[1]中利用信息分解方法，将大脑区域之间的功能性相互作用分解为协同和冗余部分，揭示它们在信息处理中的独特作用。研究发现，冗余相互作用主要与结构耦合的模块化感知运动处理相关，而协同相互作用支持整合过程和高阶脑网络中的复杂认知。人类大脑比非人灵长类更多地利用协同信息。研究[2]则在意识科学中的全局神经工作空间和整合信息论之间进行了概念和实证调和，解释了静息状态网络在人类信息处理架构中的作用，并有助于理解人脑如何通过信息的协同整合以支持意识。此次读书会将介绍 Luppi 等人关于大脑协同核的最新研究。

[12] Luppi, Andrea I., et al. A synergistic core for human brain evolution and cognition. Nature Neuroscience 25.6 (2022): 771-782. https://www.nature.com/articles/s41593-022-01070-0.
[13] Luppi, Andrea I., et al. A synergistic workspace for human consciousness revealed by integrated information decomposition. BioRxiv (2020): 2020-11. https://elifesciences.org/reviewed-preprints/88173


  1. 信息分解在脑科学中的应用


此次读书会将重点关注 Varley 等人关于信息分解在脑科学应用的相关研究，主要聚焦于对前几季读书会介绍过的相关论文通过代码实战的形式进一步拓展，并简要介绍信息分解和脑是如何通过信息动力学这个更大的主题产生联系。将人脑建模为复杂系统的标准方法是使用网络，其中基本的交互单元是两个脑区之间的成对链接。这种方法很强大，但由于无法直接评估涉及三个或更多元素的高阶交互也存在一定限制。Varley 等人的最新研究探索了一种捕捉多元数据中高阶依赖关系的方法：局部熵分解（partial entropy decomposition, PED）。该方法将整个系统的联合熵分解为一组非负信息原子，用来描述构成系统结构的冗余、独特和协同交互。局部熵分解提供了对功能连接及其局限性的数学洞察。研究发现，在人脑数据中存在大量未被探索的结构，它们在关注双变量网络连接模型时很大程度上被忽略了。除了在大脑这一特定应用方面，局部熵分解为理解各种复杂系统中的高阶结构提供了一种非常通用的方法。

[14] Varley, T. F., Pope, M., Maria Grazia, Joshua, & Sporns, O. (2023). Partial entropy decomposition reveals higher-order information structures in human brain activity. Proceedings of the National Academy of Sciences, 120(30), e2300888120. https://www.pnas.org/doi/abs/10.1073/pnas.2300888120
[15] Varley, T.F., Pope, M., Faskowitz, J. et al. Multivariate information theory uncovers synergistic subsystems of the human cerebral cortex. Commun Biol 6, 451 (2023). https://doi.org/10.1038/s42003-023-04843-w
[16] Varley, T. F., Sporns, O., Stevenson, N. J., Welch, M. G., Myers, M. M., Vanhatalo, S., & Tokariev, A. (2024). Emergence of a synergistic scaffold in the brains of human infants. bioRxiv, 2024-02. https://www.biorxiv.org/content/10.1101/2024.02.23.581375v1.full

《脑与涌现的联系：从协同核到因果涌现》
Thomas Varley主题报告：信息、脑与网络 https://pattern.swarma.org/study_group_issue/618




因果涌现社区




跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。而新兴的因果表征学习、量子因果等领域也将为因果涌现研究注入新鲜血液。

集智俱乐部因果涌现读书会目前已经进行了四季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索。

第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。请参看：因果、涌现与机器学习：因果涌现读书会第二季启动。

第三季读书会进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。请参看：因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用。

第四季读书会主题是「新信息论：从分解到整合」，旨在系统梳理信息论领域的发展脉络，从信息熵的概念开始，逐步梳理各种信息测度的意义及其间的联系，深入理解信息整合与信息分解的本质，为跨学科应用做好准备。请参看：新信息论：从分解到整合｜因果涌现读书会第四季启动。

因果涌现社区聚集了600+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，解锁对应录播权限。

因果涌现系列读书会回放视频
第一季：https://pattern.swarma.org/study_group/7
第二季：https://pattern.swarma.org/study_group/16
第三季：https://pattern.swarma.org/study_group/28
第四季：https://pattern.swarma.org/study_group/35
第五季：https://pattern.swarma.org/study_group/43

因果涌现社区共创，因果涌现主题文章



点击“阅读原文”，报名读书会

内容中包含的图片若涉及版权问题，请及时与我们联系删除