在过去的十年里，我们见证了深度学习的崛起，在人工智能领域占据主导地位。人工神经网络的进步以及具有大内存容量的硬件加速器的相应进步，再加上大型数据集的可用性，使从业者能够训练和部署复杂的神经网络模型，在跨越计算机视觉、自然语言处理和强化学习等多个领域的任务上取得最先进的性能。然而，随着这些神经网络变得更大、更复杂、应用更广泛，当前深度学习模型的基本问题变得更加明显。众所周知，最先进的深度学习模型存在各种问题，包括鲁棒性差、无法适应新的任务设置，以及需要僵化和不灵活的配置假设。通常在自然界观察到的集体行为，往往会产生稳健、适应性强、对环境配置的假设不那么僵硬的系统。集体智能，作为一个领域，研究从许多个体的互动中产生的群体智能。在这个领域中，诸如自组织、突发行为、蜂群优化和元自动机等思想被开发出来，以模拟和解释复杂系统。因此，看到这些思想被纳入到较新的深度学习方法中是很自然的。在这篇综述中，我们将提供一个神经网络研究涉及复杂系统的历史背景，并强调现代深度学习研究中几个活跃的领域，这些领域结合了集体智能的原则来推进其能力。我们希望这篇综述可以作为复杂系统和深度学习社区之间的桥梁。

图片

论文链接：https://arxiv.org/pdf/2111.14377

内容中包含的图片若涉及版权问题，请及时与我们联系删除