Multilingual E5 Text Embeddings: A Technical Report

本技术报告介绍了开源多语言E5文本嵌入模型的训练方法和评估结果，该模型于2023年中旬发布。提供了三种不同大小（小/基础/大）的嵌入模型，平衡了推理效率和嵌入质量。训练过程遵循英语E5模型的配方，包括对10亿个多语言文本对进行对比预训练，然后在一组标记数据集上进行微调。此外，我们还引入了一种新的指令调整嵌入模型，其性能与类似大小的最先进的仅英语模型相当。有关模型发布的信息可以在https://github.com/microsoft/unilm/tree/master/e5找到。

本论文旨在提出一种多语言文本嵌入模型，解决跨语言语义相似性计算问题。

论文提出了一种基于对比学习的预训练方法，并在多个数据集上进行了微调，从而得到了三个不同大小的文本嵌入模型，以提高推理效率和嵌入质量。此外，论文还提出了一种新的面向指令的嵌入模型，其性能与同等大小的英文模型相当。

论文提供了三个不同大小的多语言文本嵌入模型，提高了推理效率和嵌入质量；论文提出了一种新的面向指令的嵌入模型，其性能与同等大小的英文模型相当；论文使用了1亿个多语言文本对进行对比预训练，并在多个标记数据集上进行了微调；模型代码已经在Github上公开发布。

在这个领域的相关研究包括BERT、GPT、XLNet等。