Self-orthogonalizing attractor neural networks emerging from the free energy principle

吸引子动力学是许多复杂系统（包括大脑）的重要特征。理解这种自组织动力学如何从基本原理中涌现，对于深化我们对神经计算的理解以及设计人工智能系统至关重要。在此，我们通过将自由能原理应用于随机动力系统的通用分解，形式化了吸引子网络的涌现过程。我们的方法无需显式设定学习和推理规则，并为这类自组织系统识别出一种 emergent、高效且生物学上合理的推理与学习动力学机制。这导致了一个集体的、多层次的贝叶斯主动推理过程。自由能景观上的吸引子编码了先验信念；推理将感官数据整合到后验信念中；而学习则通过优化耦合来最小化长期的意外性（surprise）。通过解析推导和模拟验证，我们证明所提出的网络倾向于形成近似正交化的吸引子表示，这是同时优化预测准确性和模型复杂性的结果。这些吸引子能够高效覆盖输入子空间，从而增强泛化能力，并提高隐藏原因与可观测效应之间的互信息。此外，尽管随机数据呈现会导致对称且稀疏的耦合，顺序数据则促进非对称耦合及非平衡稳态动力学，为传统玻尔兹曼机提供了一种自然扩展。我们的研究结果为自组织吸引子网络提供了一个统一理论，为人工智能和神经科学提供了新的见解。

该论文试图解决如何从第一性原理出发，理解复杂系统（如大脑）中自组织吸引子动力学的涌现问题。这是一个经典但未完全解决的问题，特别是在神经计算和人工智能领域。

论文的关键思路是通过将自由能原理应用于随机动力系统的通用划分，推导出吸引子网络的涌现机制。这种方法无需显式地设定学习或推理规则，而是通过优化预测准确性和模型复杂性之间的平衡，自然地生成高效的、生物学上可解释的推理和学习动态。与现有研究相比，这种方法提供了一个统一的理论框架，将吸引子动力学、贝叶斯主动推理和机器学习结合起来。

1. 理论分析和模拟表明，吸引子倾向于正交化表示，从而提高输入子空间的覆盖效率和泛化能力。 2. 随机数据导致对称稀疏耦合，而序列数据则促进非平衡稳态动力学和不对称耦合，为传统玻尔兹曼机提供了自然扩展。 3. 论文强调了自由能景观在编码先验信念中的作用，并展示了推理和学习如何协同优化。 4. 尽管没有明确提到代码开源，但其理论框架具有高度的普适性，值得进一步实验验证和算法实现。

最近的相关研究包括： 1. Friston等人提出的自由能原则及其在神经科学中的应用。 2. 关于自组织临界性和吸引子网络的生物物理建模（例如Beggs & Plenz, 2003）。 3. 结合深度学习和贝叶斯推理的多级推理框架（例如Dayan et al., 1995; Kingma & Welling, 2013）。 4. 非平衡热力学视角下的机器学习模型（例如Liu et al., 2020关于非平衡玻尔兹曼机的研究）。