Do Llamas Work in English? On the Latent Language of Multilingual Transformers

我们探讨了在非平衡、以英语为主导的语料库上训练的多语言语言模型是否使用英语作为内部枢纽语言——这是理解语言模型如何运作以及语言偏见起源的关键问题。本研究聚焦于Llama-2变压器模型家族，使用精心构建的非英语提示和唯一正确的单词延续。从层到层，变压器逐渐将最终提示单词的输入嵌入映射到输出嵌入，从中计算下一个单词的概率。通过跟踪高维空间中的中间嵌入，我们发现了三个不同的阶段，其中中间嵌入：（1）开始远离输出单词嵌入；（2）在中间层已经允许解码语义上正确的下一个单词，但更倾向于英语版本而不是输入语言版本；（3）最终进入嵌入空间的输入语言特定区域。我们将这些结果转化为一个概念模型，其中这三个阶段分别在“输入空间”、“概念空间”和“输出空间”中运作。关键是，我们的证据表明，抽象的“概念空间”更接近英语而不是其他语言，这可能对多语言语言模型持有的偏见产生重要影响。

研究多语言语言模型在非平衡、以英语为主导的语料库中是否使用英语作为内部枢纽语言，以便更好地理解语言模型的功能和语言偏见的起源。

通过跟踪中间嵌入在高维空间中的变化，将Llama-2系列的转换器模型分为“输入空间”、“概念空间”和“输出空间”三个不同的阶段，证明了中间嵌入逐渐从远离输出令牌嵌入开始，到中间层已经允许解码出语义正确的下一个令牌，但对其英语版本的概率比对输入语言的版本更高，最后移动到嵌入空间的输入语言特定区域。论文认为，这种抽象的“概念空间”更接近英语而不是其他语言，这可能对多语言语言模型持有的偏见产生重要影响。

实验使用了精心构造的非英语提示和独特的正确单令牌延续，揭示了模型中的三个不同阶段。研究结果表明，多语言语言模型中的抽象“概念空间”更接近英语而不是其他语言，这可能对模型的偏见产生重要影响。

最近的相关研究包括《Attention Is All You Need》和《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。