Multilingual Sentence-T5: Scalable Sentence Encoders for Multilingual Applications

之前的多语言句子嵌入研究表明，通过有效利用自然语言推理（NLI）数据构建高性能模型可以优于传统方法。然而，最近“指数级”增长的拥有数十亿参数的语言模型的潜在优势尚未被充分探索。本文介绍了多语言句子T5（m-ST5），它是一种基于NLI的多语言句子嵌入更大的模型，通过扩展现有单语言模型“句子T5”实现。通过采用低秩适应（LoRA）技术，我们成功将模型的大小扩展到57亿个参数。我们进行了实验来评估句子嵌入的性能，并验证了该方法优于基于NLI的先前方法。此外，我们还确认了模型大小与性能之间的正相关性。特别值得注意的是，资源较少或与英语相似度较低的语言从参数增加中受益更多。我们的模型可在https://huggingface.co/pkshatech/m-ST5上获得。

本文旨在探索基于自然语言推理数据构建高性能模型的多语言句子嵌入方法，并通过扩展现有的单语言模型Sentence T5，提出了一个更大的模型m-ST5，以探索最近亿级参数语言模型的潜在优势。

通过采用低秩适应（LoRA）技术，将模型的大小扩展到57亿个参数，进而提高句子嵌入的性能。在实验中，证实了模型大小与性能之间的正相关性，尤其是对于资源较少或与英语语言相似度较低的语言，模型扩展带来的性能提升更为显著。

本文提出的m-ST5模型在多语言句子嵌入方面表现优异，超过了基于自然语言推理的先前方法。实验中使用了多个数据集，并且开源了代码。值得进一步研究的工作包括如何进一步提高模型的性能以及如何将该方法应用于其他自然语言处理任务。

在最近的相关研究中，也有一些探索多语言句子嵌入的方法，例如XLM-R和mBERT等。