Predictive Coding Networks and Inference Learning: Tutorial and Survey

近年来，人们呼吁在人工智能研究中重新强调以神经科学为灵感的方法，这就是神经人工智能(NeuroAI)。预测编码网络(PCNs)是这种方法的一个典型例子，它基于预测编码的神经科学框架。这个框架将大脑视为一个层次贝叶斯推理模型，通过反馈连接来最小化预测误差。与传统的通过反向传播(BP)训练的神经网络不同，PCNs使用推理学习(IL)算法，这是一种更具生物学可行性的算法，可以解释BP无法解释的神经活动模式。历史上，IL的计算量更大，但最近的进展表明，通过足够的并行化，它可以比BP实现更高的效率。此外，PCNs可以在数学上被认为是传统前馈神经网络(FNNs)的超集，显著扩展了可训练的架构范围。作为内在概率(图形)潜变量模型，PCNs提供了一个多用途的框架，既可以进行监督学习，也可以进行无监督(生成)建模，超越了传统的人工神经网络。这项工作提供了PCNs的全面回顾和详细的正式规范，特别是将它们置于现代机器学习方法的背景下。此外，我们还介绍了一个Python库(PRECO)的实际实现。这将PCNs定位为未来机器学习创新的一个有前途的框架。

本文旨在介绍基于神经科学预测编码框架的预测编码网络（PCN），并探讨其在人工智能研究中的应用。具体而言，PCN试图通过反馈连接来最小化预测误差，采用更加生物学合理的推理学习算法，以及扩展传统前馈神经网络的可训练体系结构。

PCN采用推理学习算法，可以更好地解释BP无法解释的神经活动模式，同时具有比BP更高的效率。作为概率图模型，PCN不仅适用于监督学习，还适用于无监督（生成）建模，从而扩展了传统神经网络的应用范围。

本文提供了对PCN的全面评估和详细规范，介绍了Python库（PRECO）的实现。PCN作为一种概率图模型，为未来的机器学习创新提供了一个有前途的框架。

近年来，神经科学启发的人工智能研究呼声日益高涨。在这个背景下，有许多相关的研究被进行，比如基于神经科学的机器学习方法、神经科学启发的计算模型等。