LongEmbed: Extending Embedding Models for Long Context Retrieval

本文探讨了现有嵌入模型的上下文窗口扩展问题，将其推至32k，而无需进行额外的训练，以满足长输入文本的应用需求，例如法律合同。作者首先在新构建的LongEmbed基准测试中评估了当前嵌入模型在长上下文检索方面的性能。LongEmbed包括两个合成任务和四个精心选择的真实任务，涵盖了长度和分散目标信息不同的文档。基准测试结果突显了这些模型的改进空间。基于此，作者进行了全面的实验，证明了位置插值等无需训练的上下文窗口扩展策略可以有效地将现有嵌入模型的上下文窗口扩展数倍，无论其原始上下文是512还是超过4k。此外，对于使用绝对位置编码（APE）的模型，作者展示了进一步微调以获得显著性能提升的可能性，同时严格保留短输入的原始行为。对于使用旋转位置嵌入（RoPE）的模型，当采用RoPE特定方法（如NTK和SelfExtend）时，观察到显著的改进，表明RoPE在上下文窗口扩展方面优于APE。为了促进未来的研究，作者发布了E5-Base-4k和E5-RoPE-Base，以及LongEmbed基准测试。

本论文旨在扩展现有嵌入模型的上下文窗口，将其限制从不超过8k的窗口扩展到32k，以解决长输入场景下的NLP应用问题。

通过实验发现，现有的嵌入模型在长上下文检索方面表现不佳，因此提出了一种无需额外训练的上下文窗口扩展策略，如位置插值，可以有效地将现有嵌入模型的上下文窗口扩展数倍。

论文提出了一个新的基准测试LongEmbed，包括两个合成任务和四个精心选择的现实任务，突出了现有嵌入模型的改进空间。实验结果表明，使用位置插值等策略可以将现有嵌入模型的上下文窗口扩展到32k，无论其原始上下文是512还是4k。此外，对于使用绝对位置编码（APE）的模型，可以进一步微调以获得显著的性能提升，而严格保留短输入的原始行为。对于使用旋转位置嵌入（RoPE）的模型，当使用RoPE特定的方法时，如NTK和SelfExtend，可以观察到显著的增强效果，表明RoPE在上下文窗口扩展方面优于APE。该论文还开源了E5-Base-4k和E5-RoPE-Base，以及LongEmbed基准测试。

在最近的相关研究中，也有一些关注于扩展上下文窗口的研究，如《Exploiting Longer Context for Document Ranking via Neural Ranking Models》和《Document-Level Pre-training for Text Classification》。