Understanding Cross-Lingual Alignment -- A Survey

近年来，跨语言对齐（即多语言语言模型中表示的有意义相似性）已成为研究的热点领域。我们对提高跨语言对齐技术的文献进行了综述，提供了方法分类和领域内的总结。我们介绍了不同的跨语言对齐理解及其局限性，并对大量调查论文的结果进行了定性总结。最后，我们讨论了这些见解如何不仅适用于已经广泛研究的编码器模型，还适用于编码器-解码器甚至仅解码器模型，并认为在语言中性和语言特定信息之间实现有效的权衡是关键。

本文旨在调查提高多语言语言模型中跨语言对齐的技术，并提供方法的分类和领域内洞见总结。该问题不是新问题，但是在最近几年一直是活跃的研究领域。

本文提出了不同的跨语言对齐理解及其局限性，并提供了大量文献的定性总结。此外，本文还探讨了这些洞见如何应用于编码器-解码器甚至仅解码器模型，并强调了在语言中性和语言特定信息之间的有效权衡的重要性。

本文的亮点包括：提供了多种跨语言对齐方法的分类和总结；探讨了不同跨语言对齐理解及其局限性；提供了大量文献的定性总结；探讨了如何将这些洞见应用于编码器-解码器模型；强调了在语言中性和语言特定信息之间的有效权衡的重要性。

最近在这个领域中，还有一些相关的研究被进行，例如：《Cross-lingual Language Model Pretraining》、《Unsupervised Cross-lingual Representation Learning at Scale》、《Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond》等。