Continuous Thought Machines

生物大脑展示了复杂的神经活动，其中神经元之间的时间和相互作用对于大脑如何处理信息至关重要。大多数深度学习架构通过抽象掉时间动态来简化神经活动。在本文中，我们对这种范式提出了挑战。通过引入神经元级别的处理和同步，我们可以有效地将神经时序重新作为基础元素。我们提出了连续思维机（CTM），这是一种旨在以神经动态为核心表示的模型。CTM 的两个核心创新是：（1）神经元级别的时间处理，每个神经元使用独特的权重参数来处理传入信号的历史；以及（2）将神经同步用作潜在表示。CTM 试图在提高计算效率的过度简化的神经元抽象与生物学真实性之间找到平衡。它在一个抽象层面上运行，能够有效捕捉关键的时间动态，同时仍然保持深度学习中的计算可行性。我们在一系列具有挑战性的任务中展示了 CTM 的卓越性能和多功能性，包括 ImageNet-1K 分类、解决 2D 迷宫问题、排序、奇偶校验计算、问答以及强化学习任务。除了展示丰富的内部表示外，由于其内部过程的特性，CTM 还提供了一种自然的解释途径，并且能够完成需要复杂序列推理的任务。此外，CTM 还可以利用自适应计算，在面对简单任务时提前停止计算，而在面对更具挑战性的情况时继续计算。本研究的目标是分享 CTM 及其相关创新，而不是追求新的最先进结果。为此，我们认为 CTM 是朝着开发更符合生物学原理且更强大的人工智能系统迈出的重要一步。

论文试图通过引入神经元级的时间处理和同步机制，解决当前深度学习模型中对时间动态简化的问题。这是一个新问题，因为它挑战了传统的静态神经网络架构，并尝试更接近生物大脑的复杂性。

论文的关键思路是提出Continuous Thought Machine (CTM) 模型，该模型包含两个核心创新：1）每个神经元使用独特的权重参数来处理历史输入信号；2）利用神经同步作为潜在表示。这种方法在保持计算效率的同时，更好地捕捉时间动态特性，从而增强模型的表达能力。

论文展示了CTM在多个任务中的强大性能，包括ImageNet-1K分类、迷宫求解、排序、奇偶校验计算、问答和强化学习任务。此外，CTM支持自适应计算，能够根据任务复杂度动态调整计算资源。实验设计涵盖了多种数据集，代码尚未提及是否开源，但其内部表示易于解释，为未来研究提供了新的方向。

最近的相关研究包括《Spiking Neural Networks for Temporal Dynamics Modeling》和《Neural Circuit Policies Enabling Adaptive Behavior in Uncertain Environments》。这些研究同样关注神经网络的时间动态特性，但CTM的独特之处在于将神经同步作为核心表示，并结合了复杂的任务测试。其他相关工作还包括《Event-Based Vision: A Survey》和《Learning to Control Fast-Wheeled Robots with Spiking Neural Networks》。