TopoLM: brain-like spatio-functional organization in a topographic language model

大脑中的神经元被空间组织，因此组织上的邻居通常表现出类似的反应特征。在人类语言系统中，实验研究观察到句法和语义类别的聚集，但这种功能组织的机制仍不清楚。在视觉文献的基础上，我们开发了TopoLM，这是一个具有明确的二维空间表示的转换器语言模型。通过将下一个标记预测目标与空间平滑损失相结合，该模型中的表示组装成对文本的语义可解释的聚类，并与大脑语言系统中的功能组织密切匹配。TopoLM成功地预测了皮层语言系统的空间功能组织的出现，以及在人类皮层中经验观察到的选择细粒度语言特征的功能聚类的组织。我们的结果表明，人类语言系统的功能组织受到统一的空间目标的驱动，并提供了一个在功能和空间上对齐的大脑语言处理模型。

论文旨在解决人类语言系统的功能组织机制问题，即为什么语言系统的神经元会呈现出空间上的聚类性质？

论文提出了一种基于Transformer的语言模型，通过引入二维空间表示和空间平滑损失，使得模型的表示形成了与大脑语言系统相对应的语义可解释的聚类，成功预测了大脑语言系统的空间功能组织。

论文使用了TopoLM模型，并在该模型中引入了空间平滑损失，成功预测了大脑语言系统的空间功能组织；实验结果表明，TopoLM的表示形成了与人类语言系统相对应的语义可解释的聚类；论文还介绍了一些相关的工作和数据集，并开源了代码。

在这个领域中的一些相关研究包括：《A Neural Correlate of Syntactic Hierarchy in Human Auditory Processing》、《The Neural Architecture of Grammar Induced by An Artificial Language: An fMRI Study》等。