导语


自由能原理被认为是“自达尔文自然选择理论后最包罗万象的思想”，它试图从物理、生物和心智的角度提供智能体感知和行动的统一性原理。自由能原理如何从理论走向具体实现？本周日的「自由能原理与强化学习」读书会将由复旦大学信息科学与工程学院博士生张正泉介绍和导师徐丰合作于2024年发表的关于自由能原理的一篇最新综述论文，An Overview of the Free Energy Principle and Related Research，梳理深度主动推理的发展历史，对比主动推理智能体与基于模型的强化学习智能体，讨论自由能原理在感知、学习和决策中的具体实现。





内容简介




自由能原理及其推论，主动推理框架，作为神经科学领域的理论基础，解释了智能行为的起源。该原理指出，智能体内部的感知、学习和决策过程都是由“最小化自由能”的目标驱动的，其中的两个关键原则是，智能体（agent）采用生成模型进行感知和规划，以及通过与世界（和其他智能体）的交互增强生成模型的性能并增强感知。

随着自由能原理、控制理论和深度学习工具的发展，基于 FEP 的智能体已经在不同领域以各种方式实例化，指导了多种生成模型和决策算法的设计。本次读书会以综述论文 An overview of the Free Energy Principle and Related Research 为基础，首先介绍FEP的基本概念和深度主动推理工作的发展历史，并讨论深度主动推理工作目前的局限性，然后从感知、学习和决策三个角度将主动推理智能体与基于模型的强化学习智能体相对比，讨论自由能原理在感知、学习和决策方面的具体实现，包括简单低维情况和高维复杂情况。

解读论文：
Zhang Z, Xu F. An overview of the free energy principle and related research. Neural Computation, 2024: 1-59. https://direct.mit.edu/neco/article-abstract/doi/10.1162/neco_a_01642/119791/An-Overview-of-the-Free-Energy-Principle-and?redirectedFrom=fulltext

左图：智能体（agent）和环境的关系；右图：推理框架




内容大纲



 

  • 研究背景

    • 深度主动推理工作梳理

    • 目前深度主动推理工作存在的问题

  • 自由能原理与基于模型的强化学习算法对比

    • 感知的实现方式

    • 学习的实现方式

    • 决策的实现方式

  • 总结

    • 其他论文相关内容

    • 基于自由能原理的智能体设计

    • 主动推理、主动学习和主动模型选择
   



关键词



 

自由能原理 free energy principle

基于模型的强化学习 model-based reinforcement learning

深度主动推理 deep active inference

摊销推理 amotized inference

结构学习 structure learning
 



参考文献



 

  • Zhang Z, Xu F. An overview of the free energy principle and related research[J]. Neural Computation, 2024: 1-59.

  • Friston K J, Parr T, de Vries B. The graphical brain: belief propagation and active inference[J]. Network neuroscience, 2017, 1(4): 381-414.

  • Millidge B. Deep active inference as variational policy gradients[J]. Journal of Mathematical Psychology, 2020, 96: 102348.

  • Hafner D, Lillicrap T, Norouzi M, et al. Mastering atari with discrete world models[J]. arXiv preprint arXiv:2010.02193, 2020.

  • Friston K J, Lin M, Frith C D, et al. Active inference, curiosity and insight[J]. Neural computation, 2017, 29(10): 2633-2683.

  • Bogacz R. A tutorial on the free-energy framework for modelling perception and learning[J]. Journal of mathematical psychology, 2017, 76: 198-211.

 



主讲人




张正泉，复旦大学信息科学与工程学院二年级博士生，导师是徐丰老师。研究兴趣：自由能原理指导下的强化学习算法，通过与物理仿真引擎的结合和因果发现、因果表示学习算法的结合，使智能体能够利用自身的内部模型和与环境交互的能力实现更好的感知与决策。





参与方式




时间：2024年4月21日（本周日）上午10:00-12:00
报名读书会：

斑图地址：https://pattern.swarma.org/study_group_issue/651


扫码参与自由能原理与强化学习读书会，加入群聊，获取系列读书会回看权限，加入集智社区，与社区的一线科研工作者沟通交流，共同推动这一前沿领域的发展。

报名成为主讲人：
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：自由能原理与强化学习读书会启动：探索感知和行动的统一原理


自由能原理与强化学习读书会招募中


自由能原理被认为是“自达尔文自然选择理论后最包罗万象的思想”，它试图从物理、生物和心智的角度提供智能体感知和行动的统一性规律，从第一性原理出发解释智能体更新认知、探索和改变世界的机制，从而对人工智能，特别是强化学习世界模型、通用人工智能研究具有重要启发意义。

集智俱乐部联合北京师范大学系统科学学院博士生牟牧云，南京航空航天大学副教授何真，以及骥智智能科技算法工程师、公众号 CreateAMind 主编张德祥，共同发起「自由能原理与强化学习读书会」，希望从自由能原理这个更底层的视角重新审视强化学习世界模型，探讨自由能原理、强化学习世界模型，以及脑与意识问题中的预测加工理论等前沿交叉问题，探索这些不同领域背后蕴含的感知和行动的统一原理。读书会从3月10日开始，每周日上午10:00-12:00，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！


详情请见：自由能原理与强化学习读书会启动：探索感知和行动的统一原理


点击“阅读原文”，报名读书会

内容中包含的图片若涉及版权问题，请及时与我们联系删除