News Without Borders: Domain Adaptation of Multilingual Sentence Embeddings for Cross-lingual News Recommendation

越来越多的多语言新闻消费者对新闻推荐系统提出了越来越高的定制化要求。首先，即使由多语言语言模型（LM）提供支持，现有的神经新闻推荐系统在零样本跨语言转移（ZS-XLT）方面也遭受了重大的性能损失。其次，在任务特定数据上微调神经推荐器的骨干LM的当前范例在计算上是昂贵的，并且在数据稀缺或完全不可用的少样本推荐和冷启动设置中是不可行的。在这项工作中，我们提出了一种新闻适应句子编码器（NaSE），它是从预训练的大规模多语言句子编码器（SE）中专门为领域而设计的。为此，我们构建并利用了两个多语言新闻特定语料库PolyNews和PolyNewsParallel。通过使用新闻适应的多语言SE，我们测试了新闻推荐的监督微调的有效性，并提出了一个基于（i）冻结NaSE嵌入和（ii）后期点击行为融合的简单而强大的基线。我们展示了NaSE在真正的冷启动和少样本新闻推荐中实现了最先进的ZS-XLT表现。

论文旨在解决新闻推荐系统在多语言环境下提供定制化推荐的问题，特别是在零样本跨语言转移和少样本推荐情况下。

论文提出了一种基于预训练的多语言句子编码器的新闻适应句子编码器（NaSE），并构建了两个多语言新闻特定语料库来进行领域专门化。通过使用新闻适应的多语言句子编码器，论文提出了一种基于冻结NaSE嵌入和后期点击行为融合的简单且强大的基线，从而实现了真正的冷启动和少样本新闻推荐的最新性能。

该论文的亮点是提出了一种新闻适应的多语言句子编码器，通过使用该编码器，论文提出了一种简单而强大的基线，并在真正的冷启动和少样本新闻推荐中取得了最新的性能。论文使用了两个多语言新闻特定语料库来进行领域专门化，实验结果表明，NaSE在零样本跨语言转移中取得了最新的性能。

在最近的研究中，也有一些相关的工作，例如《Multi-Task Learning for News Recommendation with User Behavior》和《Neural News Recommendation with Heterogeneous User Feedback》。