Sliding Windows Are Not the End: Exploring Full Ranking with Long-Context Large Language Models

大型语言模型（LLMs）在列表式段落排序任务中展现了令人振奋的表现。由于输入长度有限，现有方法通常采用滑动窗口策略。尽管这种策略有效，但它效率低下，因为它涉及重复和串行处理，通常会多次重新评估相关段落。因此，它会产生冗余的API成本，这些成本与推理标记的数量成正比。长上下文LLMs的发展使得可以在单次推理中对所有段落进行完整排序，从而避免了冗余的API成本。在本文中，我们对长上下文LLMs在排序任务中的效率和效果进行了全面研究。令人惊讶的是，我们的实验表明，在监督微调设置下，使用长上下文LLMs进行完整排序可以显著提高性能并大幅提高效率。此外，我们发现了基于现有方法微调完整排序模型的两个局限性：（1）滑动窗口策略无法生成完整的排序列表作为训练标签，（2）语言建模损失无法强调标签中排名靠前的段落ID。为了解决这些问题，我们提出了一种新的完整列表标签构建方法和一种新颖的重要性感知学习目标用于完整排序。实验结果表明，我们的方法优于基线方法。我们的代码可在以下网址获取：\url{https://github.com/8421BCD/fullrank}。

论文试图解决大型语言模型（LLM）在处理长文档列表排序任务时的效率和成本问题。现有的滑动窗口策略虽然有效，但会导致重复处理和高昂的API成本。该研究旨在验证长上下文LLM是否可以在单次推理中完成所有文档的排序，并提高排序任务的效率和效果。

关键思路是利用长上下文LLM一次性处理所有文档，从而避免重复评估相关段落，减少API调用成本。相比现有方法，这篇论文提出了一个全新的完整列表标签构建方法和重要性感知学习目标，以优化全排序模型的训练过程。这种方法不仅提高了排序性能，还显著提升了效率。

实验设计包括对长上下文LLM在监督微调设置下的全面评估，结果显示其在效率和效果上均优于现有方法。研究者们还指出了滑动窗口策略的两个主要局限，并提出了解决方案。此外，作者开源了代码，提供了进一步研究的基础。未来的研究可以集中在如何进一步优化长上下文LLM的训练和应用，以及探索更多实际应用场景。

最近在这个领域内的相关研究还包括：1) 使用滑动窗口策略改进LLM的排序能力；2) 探索更高效的推理机制以降低计算成本；3) 提出新的损失函数来提升排序任务的表现。例如，《Improving Passage Ranking with Sliding Window Strategies for LLMs》、《Efficient Inference Mechanisms for Long-Context Models》等论文都探讨了类似的问题。