导语


在集智俱乐部「因果涌现」读书会第四季本周日（2月25日）的分享中，北京师范大学系统科学学院硕士生刘凯威将解读一篇 NeurIPS 2023 spotlight 关于部分信息分解（PID）的论文，该论文提出一种新方法来有效地计算和估计多元高斯分布上的PID定义——高斯PID。欢迎感兴趣的朋友参与！





内容简介




近年来，神经科学实验技术的最新进展使得能够同时记录跨越多个脑区的数千个神经元的活动。这导致对计算工具的不断增长需求，以分析任务相关信息在多个脑区之间如何表示和传递。部分信息分解（PID）是一种可以量化两组或多组数据互信息中携带的独特、冗余和协同信息的工具，在对于因果效应的度量和因果涌现的判断中有着重要的意义。然而，计算PID在实践中具有挑战性，并且诸如估计的偏差和方差之类的统计问题在很大程度上仍未被探索。

此次分享主要解读一篇 NeurIPS 2023 spotlight 论文，Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data。该论文提出一种新的方法来有效地计算和估计多元高斯分布上的PID定义——高斯PID。论文实证地证明，高斯PID对于一维和高维的随机变量都满足直观的可加性性质，并在几组典型例子中复现了基本事实。论文还首次提出并评估了一种在有限样本量下校正PID估计偏差的方法。最后，研究证明高斯PID有效地表征了小鼠大脑中区域间的相互作用，当刺激与行为相关时，显示了视觉区域之间更高的冗余度。
论文题目：Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data
论文地址：https://openreview.net/forum?id=1PnSOKQKvq





内容大纲




  • 信息分解回顾

    • 信息熵与互信息

    • 信息分解

  • 高斯信息分解

    • 高斯分布下的信息熵与互信息

    • 高斯信息分解的计算

  • 典型高斯分布案例

    • 信息分解特例

    • 高维数据信息分解

  • 偏差度量

  • 实际案例——神经数据





核心概念




  • 部分信息分解 Partial Information Decomposition

  • 协同信息 Synergystic information

  • 特有信息 Unique information

  • 冗余信息 Redundant information

  • 高斯分布 Gaussian distribution

  • 高斯信息分解 Gaussian Partial Information Decomposition




主讲人简介




刘凯威，北京师范大学系统科学学院硕士研究生，师从张江老师。研究领域涉及生存分析、贝叶斯统计、复杂网络重构、因果涌现等方向。
学者主页：https://pattern.swarma.org/user/77240/master





参与方式




直播信息
时间：2024年2月25日（本周日）上午9:00-11:00

报名参与读书会：
斑图链接：https://pattern.swarma.org/study_group_issue/610

扫码参与因果涌现读书会，加入群聊，获取系列读书会回看权限，加入因果涌现社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。





参考文献




[1] Venkatesh P, Bennett C, Gale S, et al. Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data[J]. Advances in Neural Information Processing Systems, 2024, 36.
https://openreview.net/forum?id=1PnSOKQKvq
[2] Venkatesh P, Schamberg G. Partial information decomposition via deficiency for multivariate gaussians[C]//2022 IEEE International Symposium on Information Theory (ISIT). IEEE, 2022: 2892-2897.
[3] Ince R A A. The Partial Entropy Decomposition: Decomposing multivariate entropy and mutual information via pointwise common surprisal[J]. arXiv preprint arXiv:1702.01591, 2017.
[4] Williams P L, Beer R D. Nonnegative decomposition of multivariate information[J]. arXiv preprint arXiv:1004.2515, 2010.


新信息论：从分解到整合

因果涌现读书会第四季招募中


什么是意识？意识能否度量？机器能否产生意识？对于意识问题，人们可能即将迎来一个大的突破，各种有关意识的理论正如雨后春笋般展现出勃勃生机。其中神经科学家 Giulio Tononi 的整合信息论（IID）被认为是最有前景的意识理论之一。如果说意识是大脑神经活动的一种涌现结果，那么刻画涌现便成为理解意识过程中一个重要环节。因果涌现理论目前发展出两个派别，除了 Erik Hoel 的有效信息因果涌现框架，还有一个是 Rosas 的信息分解（PID）框架，此后 Rosas 基于此进一步提出融合整合信息论的信息分解框架 ΦID，尝试构建新的意识理论。


一边是信息整合（IIT），一边是信息分解（PID），看似分裂，实际上都是对香农经典信息论的进一步发展。因果涌现读书会第四季「新信息论：从分解到整合」由北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起，旨在梳理信息论领域的发展脉络，从香农的经典信息论开始，重点关注整合信息论和信息分解这两个前沿话题，及其在交叉领域的应用。希望通过对这些“新信息论”度量指标的深入探讨，帮助我们理解什么是意识，什么是涌现，并找到不同学科，不同问题背后的统一性原理。



详情请见：
新信息论：从分解到整合｜因果涌现读书会第四季启动


因果涌现社区


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。


集智俱乐部因果涌现读书会目前已经进行了三季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索。


第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。请参看：因果、涌现与机器学习：因果涌现读书会第二季启动。


第三季读书会进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。请参看：因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用


此次读书会主题是「新信息论：从分解到整合」，是因果涌现系列读书会的第四季，将重点梳理信息分解与整合信息论的相关研究。请参看：新信息论：从分解到整合｜因果涌现读书会第四季启动


因果涌现社区聚集了600+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，解锁对应录播权限。


因果涌现读书会回放视频
第一季：https://pattern.swarma.org/study_group/7
第二季：https://pattern.swarma.org/study_group/16
第三季：https://pattern.swarma.org/study_group/28
第四季：https://pattern.swarma.org/study_group/35

因果涌现社区共创的文章



点击“阅读原文”，报名读书会

内容中包含的图片若涉及版权问题，请及时与我们联系删除