TopoNets: High Performing Vision and Language Models with Brain-Like Topography

大脑中的神经元组织方式使得相邻的细胞往往具有相似的功能。人工智能模型缺乏这种组织结构，而过去尝试引入拓扑结构的努力常常导致拓扑结构与任务性能之间的权衡。在这项工作中，我们提出了TopoLoss，这是一种新的损失函数，能够在不显著牺牲任务性能的情况下，促进AI模型中空间上有组织的拓扑表示。TopoLoss具有高度适应性，可以无缝集成到领先模型架构的训练中。我们在视觉模型（ResNet-18、ResNet-50、ViT）和语言模型（GPT-Neo-125M、NanoGPT）上验证了我们的方法，这些模型统称为TopoNets。TopoNets是目前性能最高的监督式拓扑模型，表现出类似大脑的特性，如局部特征处理、较低维度和更高效率。TopoNets还可以预测大脑中的反应，并复制在大脑视觉皮层和语言皮层中观察到的关键拓扑特征。综上所述，这项工作建立了一个强大且通用的框架，用于将拓扑结构整合到领先的模型架构中，推动了高性能模型的发展，使其更接近于模仿人脑的计算策略。

该论文试图解决如何在AI模型中引入类似大脑的拓扑组织结构，而不显著牺牲任务性能的问题。这是一个新问题，因为过去的尝试通常会在拓扑结构和任务性能之间产生权衡。

关键思路是引入了一种新的损失函数TopoLoss，它能够在不显著影响任务性能的前提下，促进AI模型中的空间拓扑表示。这一方法具有高度适应性，可以无缝集成到主流模型架构中进行训练。相比现有研究，TopoLoss不仅解决了拓扑与性能之间的权衡问题，还展示了其在视觉和语言模型中的广泛适用性。

论文通过实验验证了TopoLoss的有效性，包括使用ResNet-18、ResNet-50、ViT等视觉模型以及GPT-Neo-125M、NanoGPT等语言模型。实验结果表明，TopoNets不仅具备脑类特性如局部特征处理、低维度和高效率，还能预测大脑反应并复制视觉和语言皮层的关键拓扑特征。此外，所有代码和模型均已开源，为未来研究提供了坚实基础。值得继续深入研究的方向包括进一步优化TopoLoss及其在其他任务中的应用。

最近的相关研究还包括：1.《Brain-Like Neural Networks via Topographic Convolutional Layers》；2.《Neural Architecture Search for Topographic Feature Maps》；3.《Learning Brain-Inspired Topographic Representations in Deep Networks》。这些研究均致力于将大脑的计算策略应用于AI模型，但大多面临性能下降或适用范围有限的问题。