Artificial Kuramoto Oscillatory Neurons

长期以来，神经科学和人工智能领域都已知神经元之间的“绑定”会导致一种竞争性学习，其中表征在网络的更深层被压缩，以表示更抽象的概念。最近，人们还假设动态（时空）表征在神经科学和人工智能中也起着重要作用。基于这些观点，我们引入了人工库拉莫托振荡神经元（AKOrN）作为阈值单元的动态替代方案，它可以与任意连接设计结合使用，例如全连接、卷积或注意力机制。我们的广义库拉莫托更新通过同步动力学将神经元绑定在一起。我们展示了这一想法在广泛的任务中提供了性能改进，如无监督物体发现、对抗鲁棒性、校准不确定性量化和推理。我们认为，这些实证结果表明重新思考我们在神经表征最基本的神经元层面的假设的重要性，特别是动态表征的重要性。

该论文试图通过引入动态神经元模型（Artificial Kuramoto Oscillatory Neurons, AKOrN）来改进现有神经网络的表示学习能力，特别是针对更复杂的任务如无监督对象发现、对抗鲁棒性、校准不确定性量化和推理。这是一个新的尝试，旨在从基础神经元层面重新思考和改进神经网络的设计。

论文的关键思路是利用Kuramoto模型中的同步动力学来实现神经元之间的动态绑定。这种动态绑定不仅能够促进竞争性学习，还能在不同层中压缩表示，从而支持更抽象概念的学习。与传统的阈值单元相比，AKOrN通过其动态特性提供了一种新的机制来增强神经网络的表示能力和泛化性能。

论文展示了AKOrN在多种任务上的性能提升，包括无监督对象发现、对抗鲁棒性、校准不确定性量化和推理。实验设计涵盖了不同的网络架构，如全连接、卷积和注意力机制。研究者还提供了开源代码，便于其他研究者复现和进一步探索。未来的研究可以深入探讨AKOrN在更大规模数据集上的表现，以及在更多实际应用中的潜力。

近年来，关于动态表示和神经网络的研究逐渐增多。相关研究包括： 1. "Dynamic Routing Between Capsules" by Sara Sabour, Nicholas Frosst, and Geoffrey E. Hinton 2. "Neural Ordinary Differential Equations" by Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, and David Duvenaud 3. "Recurrent Models of Visual Attention" by Volodymyr Mnih, Nicolas Heess, Alex Graves, and Koray Kavukcuoglu 4. "Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting" by Bing Yu, Haoteng Yin, and Zheng Zhu