Growing Artificial Neural Networks for Control: the Role of Neuronal Diversity

生物进化中，复杂的神经结构是从少量的细胞成分中生长出来的。由于自然界的基因组大小有限，这种复杂性是通过一种生长过程实现的，细胞在局部通信以决定是否分化、增殖和连接其他细胞。这种自我组织被假设在生物神经网络的泛化和鲁棒性中起着重要作用。另一方面，人工神经网络(ANNs)传统上是在权重空间中优化的。因此，生长人工神经网络的好处和挑战仍未得到充分研究。在之前介绍的神经发育程序(NDP)的基础上，本文提出了一种用于生长解决强化学习任务的ANNs的算法。我们发现一个关键挑战：确保表型复杂性需要保持神经元的多样性，但这种多样性会以优化稳定性为代价。为了解决这个问题，我们引入了两个机制：(a)在神经发生时赋予神经元内在状态；(b)侧向抑制，这是一种受生物生长启发的机制，它控制生长的步伐，帮助多样性持续存在。我们证明了这两种机制都有助于神经元的多样性，并且配备了它们，NDPs在复杂的运动任务中达到了与现有直接和发育编码相当的结果。

论文旨在解决如何通过生长机制构建人工神经网络，以解决强化学习任务中的复杂动作问题。

论文提出了一种基于神经发育程序（NDP）的算法，通过维护神经元多样性和控制生长速度来实现神经网络的复杂性和优化稳定性。

论文通过实验展示了该算法在复杂的运动任务中与现有直接编码和发育编码方法相比的优越性，并提出了神经元内在状态和横向抑制机制的亮点。

最近相关研究包括使用进化算法构建神经网络的研究，如NEAT算法（Kenneth O. Stanley和Risto Miikkulainen，2002年），以及使用发育算法构建神经网络的研究，如HyperNEAT算法（Kenneth O. Stanley，2007年）。