当前最先进的深度学习模型存在一些根本问题，而来自集体智能，特别是复杂系统的概念，往往可以提供有效解决方案。事实上，复杂系统领域的概念，如元胞自动机、自组织、涌现、集体行为，与人工神经网络有着悠久的联系。2021年12月arxiv上刊载的一篇综述文章，梳理了复杂系统与神经网络相互交织的发展历程，从图像处理、深度强化学习、多智能体学习、元学习等几个活跃领域，展示了结合集体智能原理对深度学习研究的推动作用。

论文链接：

https://arxiv.org/abs/2111.14377

摘要

在过去十年里，我们见证了深度学习崛起并在人工智能领域占据主导地位的过程。人工神经网络的进步，以及相应的具有大内存容量的硬件加速器的发展，再加上大型数据集的可得性，使得研究人员和从业人员能够训练和部署复杂的神经网络模型，在计算机视觉、自然语言处理和强化学习等多个领域的任务上取得最佳性能。然而，随着这些神经网络变得更大、更复杂、应用更广泛，当前深度学习模型的根本问题变得更加明显。众所周知，当前最先进的深度学习模型也有一些问题，包括不够稳健，无法适应新的任务，配置需要严格和不灵活的假设等。来自集体智能的观念，特别是来自复杂系统的概念，如自组织、涌现行为、粒子群优化（swarm optimization）和元胞自动机，往往会产生稳健的、适应性的解决方案，并且对环境配置的假设没那么严格。因此，看到这些观念被纳入到新的深度学习方法中，并不奇怪。在这篇综述里，我们将提供一个涉及复杂系统的神经网络研究的历史脉络，并着重于现代深度学习研究中几个活跃的领域，这些领域结合了集体智能的原理来提升当前模型的能力。为了促进观念的双向流动，我们还讨论了那些利用现代深度学习模型来帮助推进复杂系统研究的研究。我们希望这篇综述可以成为复杂系统和深度学习社区之间的桥梁，促进观念的交叉传播，并促进跨学科的新合作。

内容中包含的图片若涉及版权问题，请及时与我们联系删除