Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks

能够捕捉大脑计算基本原理的神经网络为发展人工智能和类脑计算算法提供了令人兴奋的新机遇。这样的网络在利用新皮层中发现的局部突触学习规则和模块化网络结构的同时保持生物学上的合理性。与基于反向传播的深度学习方法相比，它们提供了更适合部署在神经形态硬件上的模型，并具有在大规模计算集群上实现可扩展性的更大潜力。这样的类脑神经网络的发展取决于具有能够从数据中构建有效内部表示的学习过程。在这项工作中，我们介绍并评估了一种能够进行无监督表示学习的类脑神经网络模型。它建立在贝叶斯置信传播神经网络（BCPNN）之上，BCPNN早先已经被实现为抽象的和生物物理学上详细的经常性吸引子神经网络，用于解释各种皮层联想记忆现象。在这里，我们开发了一个前馈型BCPNN模型，通过结合从新皮层电路中派生出的一系列类脑属性，如皮层柱、除法归一化、赫比型突触可塑性、结构可塑性、稀疏活动和稀疏斑块连接，来执行表示学习。该模型在多个流行的机器学习基准测试上进行了测试：灰度图像（MNIST、Fashion-MNIST）、RGB自然图像（SVHN、CIFAR-10）、QSAR（MUV、HIV）和恶意软件检测（EMBER）。当使用线性分类器来预测类标签时，该模型的性能与传统的多层感知器和其他最先进的类脑神经网络相当。

本文旨在开发一种具有生物学可行性的神经网络模型，该模型可以进行无监督的表示学习，并在多个机器学习基准测试中进行测试。

本文提出了一种基于Bayesian Confidence Propagation Neural Network（BCPNN）的前馈模型，该模型结合了多种类似于新皮质电路的特征，如皮质柱、除法归一化、Hebbian突触可塑性、结构可塑性、稀疏活动和稀疏斑点连接，以进行表示学习。

本文的模型在多个机器学习基准测试中进行了测试，并且在使用线性分类器进行类别标签预测时表现出与传统多层感知器和其他最先进的神经网络相当的竞争力。此外，本文的模型还具有生物学可行性和可扩展性，并可在神经形态硬件上部署。

最近在这个领域中，还有其他相关的研究，如Deep Belief Networks（DBN）、自编码器（AE）和其他基于神经网络的无监督表示学习方法。