Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders

现有的交叉编码器重新排序模型可以分为点对、成对和列表模型。成对和列表模型允许段落之间的交互，这通常使它们比点对模型更有效，但同时也更低效和对输入顺序的排列更不稳健。为了在重新排序过程中实现高效的排列不变段落交互，我们提出了一种新的交叉编码器架构，即集合编码器，其中包括段落间的注意力机制。在TREC Deep Learning和TIREx的Cranfield式实验中，集合编码器与最先进的列表模型一样有效，同时提高了效率和对输入排列的稳健性。有趣的是，点对模型同样有效，但当需要模型考虑新颖性时，集合编码器比其点对模型更为有效，并保留了与其他列表模型相比的优势。我们的代码和模型可在https://github.com/webis-de/set-encoder上公开获取。

论文旨在提出一种新的跨文本编码器体系结构，即Set-Encoder，以提高交互式文本重排序的效率和鲁棒性。

Set-Encoder使用交叉注意力机制实现了高效的排列不变性文本交互，并在TREC Deep Learning和TIREx数据集上实现了与最先进的基于列表的模型相当的性能。

论文提出了一种新的跨文本编码器体系结构Set-Encoder，并在实验中证明了其优越性能。该模型使用交叉注意力机制实现了高效的排列不变性文本交互，并在TREC Deep Learning和TIREx数据集上实现了与最先进的基于列表的模型相当的性能。研究人员还公开了他们的代码和模型。

最近的相关研究主要集中在跨文本编码器的改进和应用上，如BERT、XLNet等。