fMRI predictors based on language models of increasing complexity recover brain left lateralization

在过去的十年中，研究自然语言处理的研究逐渐兴起，参与者在听连续文本时进行扫描。研究人员首先使用词嵌入，然后使用大型语言模型创建编码模型来分析脑信号。将这些模型呈现给参与者与参与者听到的相同文本，可以确定在哪些脑区存在功能磁共振成像（fMRI）时间序列和模型人工神经元预测的时间序列之间存在显著相关性。这些研究的一个有趣发现是，它们揭示了高度对称的双侧激活模式，这与语言加工的左侧化现象有些不符。本文报告了一项fMRI数据集的分析，我们通过操纵大型语言模型的复杂性来测试28个预训练模型，这些模型来自8个不同的系列，参数范围从124M到14.2B。首先，我们观察到模型在预测大脑响应方面的表现遵循一个缩放定律，其中与大脑活动的匹配程度随着模型参数数量（以及其在自然语言处理任务中的表现）的对数线性增加。其次，我们展示了随着模型规模的增加，左右不对称性逐渐出现，并且左右脑之间的差异也遵循一个缩放定律。虽然最小的模型没有不对称性，但更大的模型比右半球更好地适应左半球激活。这一发现将使用大型语言模型的计算分析与失语症患者的经典观察结果相一致，这些结果显示左半球在语言中占主导地位。

研究如何使用大型语言模型来分析大脑活动，特别是解决大脑语言处理的左侧优势问题。

通过对28个预训练模型的分析，发现大型语言模型的性能与其参数数量呈对数线性关系，并且随着模型大小的增加，左右脑之间的对称性逐渐出现，较大的模型比较小的模型更适合左半球的激活。

实验使用了大量的预训练模型和fMRI数据集，并发现了大型语言模型的性能与其参数数量的对数线性关系以及左右脑之间的对称性随模型大小增加而增加的规律。

最近的相关研究包括使用语言模型来分析大脑活动的自然语言处理研究。