导语


自由能原理被认为是“自达尔文自然选择理论后最包罗万象的思想”，它试图从物理、生物和心智的角度提供智能体感知和行动的统一性原理，却也以理论的艰深晦涩著称。此次「自由能原理与强化学习读书会」第二期将在第一期自由能原理的概览介绍之后，从概率论的基础理论出发，对自由能原理主动推理进行详细推导。欢迎感兴趣的朋友和我们一起探索！






内容简介




主动推理（Active Inference），及其最近在部分可观察的马尔可夫决策过程（POMDPs）中的应用，为建模感知、学习和决策提供了统一的数学框架，该框架将这些心理过程及其相互作用视为相互依赖的推断形式。在主动推理中，决策智能体通过将先验信念与感觉输入结合起来，推断环境中不同外部状态和事件的概率，包括它们自己的行动。

不同于“被动”的感知推断过程（例如，根据光线模式对视网膜的影响来推断外部物体的存在），决策背后的推断是“主动的”，即智能体通过推断得出最可能产生偏好感觉输入的行动（例如，推断吃一些食物会减轻饥饿感）。智能体还通过推断得出最有可能减少不确定性并促进学习的行为（例如，推断打开冰箱将显示可用的食物选项）。这导致决策行为在最大化奖励和信息增益之间进行权衡。

主动推理预测的感知和行动模式与经验观察到的模式非常匹配。与主动推理相关的神经过程理论还成功地在多个研究范式中再现了经验观察到的神经反应，并产生了新颖的、可测试的预测。由于这些和其他考虑因素，这个框架在心理学、神经科学和机器学习领域近年来日益具有影响力。

本次读书会以论文《A step-by-step tutorial on active inference and its application to empirical data》为基础，从贝叶斯定理出发，引入变分推断方法进行近似贝叶斯推断，将感知建模为最小化变分自由能的过程，将行动建模为最小化期望自由能的过程。之后针对部分可观测马尔可夫决策过程通过因子图对其进行表示，并通过消息传播算法对信念进行更新。最后简要介绍主动推理框架在神经过程理论中的对应以及分层部分可观察马尔可夫决策过程。




内容大纲




  • 主动推理简介

  • 背景知识

    • 概率论基础与生成模型

    • 贝叶斯推断与变分推断

  • 核心理论

    • 变分自由能公式推导

    • 期望自由能公式推导

  • 实现及应用

    • 图模型与消息传播

    • 神经过程理论

  • 扩展

    • 分层马尔可夫决策过程




关键词 




主动推理 Active Inference

贝叶斯定理 Bayes' theorem

变分自由能 Variational Free Energy （VFE）

期望自由能 Expected Free Energy（EFE）

部分可观测马尔可夫过程 Partially observable Markov decision process (POMDP)

因子图 Factor graph

消息传播 Message passing

神经处理理论 Neural process theory

分层模型 Hierarchical model




主讲人简介




牟牧云，北京师范大学系统科学学院博士生，张江老师因果涌现研究小组成员。研究方向：复杂系统建模与调控、强化学习世界模型。




直播信息




时间：2024年3月17日（本周日）上午10:00-12:00

参与方式：
斑图地址：https://pattern.swarma.org/study_group_issue/622

扫码参与自由能原理与强化学习读书会，加入群聊，获取系列读书会回看权限，加入集智社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。

报名成为主讲人：
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：
自由能原理与强化学习读书会启动：探索感知和行动的统一原理




参考文献



 

 • Smith, Ryan, Karl J. Friston, and Christopher J. Whyte. A step-by-step tutorial on active inference and its application to empirical data. Journal of mathematical psychology 107 (2022): 102632.

主动推理框架可以被描述为部分可观测马尔可夫决策过程（POMDP），这种表述成为建模神经认知过程的有用方法。本文提供了一个详细教程，介绍了基本概念、数学和编程实现，演示如何使用模型进行行为和神经建模，并将实验模型拟合到行为数据中。

 • Friston, K. The free-energy principle: a unified brain theory?. Nat Rev Neurosci 11, 127–138 (2010). https://doi.org/10.1038/nrn2787

自由能原理经典奠基性综述

推荐阅读



自由能原理与强化学习读书会招募中


由能原理被认为是“自达尔文自然选择理论后最包罗万象的思想”，它试图从物理、生物和心智的角度提供智能体感知和行动的统一性规律，从第一性原理出发解释智能体更新认知、探索和改变世界的机制，从而对人工智能，特别是强化学习世界模型、通用人工智能研究具有重要启发意义。

集智俱乐部联合北京师范大学系统科学学院博士生牟牧云，南京航空航天大学副教授何真，以及骥智智能科技算法工程师、公众号 CreateAMind 主编张德祥，共同发起「自由能原理与强化学习读书会」，希望从自由能原理这个更底层的视角重新审视强化学习世界模型，探讨自由能原理、强化学习世界模型，以及脑与意识问题中的预测加工理论等前沿交叉问题，探索这些不同领域背后蕴含的感知和行动的统一原理。读书会从3月10日开始，每周日上午10:00-12:00，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！


详情请见：自由能原理与强化学习读书会启动：探索感知和行动的统一原理


点击“阅读原文”，报名读书会

内容中包含的图片若涉及版权问题，请及时与我们联系删除