Do Llamas Work in English? On the Latent Language of Multilingual Transformers

我们探讨了在训练不平衡、以英语为主导的语料库上的多语言语言模型是否使用英语作为内部枢纽语言的问题——这是理解语言模型功能和语言偏见起源的关键问题。我们的研究集中在Llama-2转换模型系列上，使用了精心构建的非英语提示和唯一的正确单词续写。从一个层次到另一个层次，转换器逐渐将最终提示单词的输入嵌入映射到输出嵌入，从中计算下一个单词的概率。通过跟踪高维空间中的中间嵌入，我们发现了三个不同的阶段，其中中间嵌入（1）开始远离输出令牌嵌入；（2）在中间层中已经允许解码语义正确的下一个单词，但在英语中的概率比在输入语言中的概率更高；（3）最终移动到嵌入空间的特定于输入语言的区域。我们将这些结果转化为一个概念模型，在这个模型中，三个阶段分别在“输入空间”、“概念空间”和“输出空间”中运作。关键是，我们的证据表明，抽象的“概念空间”更接近英语而不是其他语言，这可能对多语言语言模型所持有的偏见产生重要影响。

研究多语言语言模型在不平衡、以英语为主导的语料库中是否使用英语作为内部枢轴语言，以此来理解语言模型的功能和语言偏见的起源。

使用Llama-2家族的转换器模型，并跟踪中间嵌入到高维空间中的嵌入，发现多语言语言模型的中间嵌入分为三个不同的阶段，这些阶段分别在“输入空间”、“概念空间”和“输出空间”中操作，其中“概念空间”相比其他语言更接近英语，这可能对多语言语言模型持有的偏见产生重要影响。

实验使用了精心构造的非英语提示和唯一的正确单词继续。作者跟踪中间嵌入，发现多语言语言模型的中间嵌入分为三个不同的阶段，并提出了一个概念模型来解释这些阶段。研究结果表明，多语言语言模型的“概念空间”更接近英语，这可能会导致语言偏见。

最近的相关研究包括《The Unreasonable Effectiveness of Cross-lingual Transfer Learning》和《A Survey of Cross-lingual Word Embedding Models》等。